web スクリーンショット生成サービスの試作 (その２)

先に作った web サービスを使って <a href> タグ のマウスホバーで、スクリーンショットを preview させるようにしてみた。
http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/Edinet/tools/screenshot/03/?root=ruby-xbrl

次の javascript を利用している。
- http://cssglobe.com/post/1695/easiest-tooltip-and-image-preview-using-jquery
> Easiest Tooltip and Image Preview Using jQuery | Css Globe

web スクリーンショット生成サービスの試作

webkit2png というツールを見つけた。
これはコマンドラインツールであるが、指定した url のページのスクリーンショット(png) を得るものだ。
この ツールを sinatra で wrap してみた。
  http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/Edinet/tools/screenshot/?root=ruby-xbrl
   (ruby 1,8.7, 1.9.1m jruby 1.5.0 で動作する)

現状では、リクエスの度に画像生成をしているが、
　　　(url, imageデータ0 の 対で DB 登録する、
　　url 短縮名 で 画像をファイル保存して、再利用する
といった キャッシュ処理の組み込みがさらに必要だろう。

こういった小さな サービスの実験に sinatra は向いてる (Rails では大袈裟すぎる)

prawn のサンプル (ruby での PDF 生成)

prawn をつかった ruby での PDF 生成の練習をしてみました。

http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/Edinet/tools/prawn/?root=ruby-xbrl
  *.rb    // スクリプト
  *.pdf  // 生成結果

このスクリプトは ruby, jruby のどちらでも動作します。

日本語の ttf を設定しておく必要があります。
See
- http://d.hatena.ne.jp/seuzo/20080819/1219134139
> PDF生成ライブラリ「Prawn」 - 名もないテクノ手

- http://blog.s21g.com/articles/858
> Rails：prawn & prawntoで日本語のPDF生成 - satoko's blog - s21g

簡単な構造の表の生成はこれで十分だな。
財務表の形式の表を生成できるかを調査してみる予定です。

watir で web サイトの自動アクセス

watir というruby のライブラリーを見つけた。

- http://wtr.rubyforge.org/
> Watir is an open-source library for automating web browsers. It allows you to write tests that are easy to read and maintain. It is simple and flexible.

firefox 用
- http://wiki.openqa.org/display/WTR/FireWatir
> FireWatir - Watir - OpenQA Wiki

jruby 用
- http://celerity.rubyforge.org/
> Celerity | Easy and fast functional test automation for web applications

google の image サーチで "micro bikini" の検索結果画像や、
yahoo image サーチで "micro bikini" の検索結果画像を
根こそぎ download する例を書いてみた。

- http://homepage2.nifty.com/youichi_kato/src.html
  firewatir で google image 検索結果を すべてdownload する。
    images-google.rb  (firewatir)
   celerity で yahoo image 検索結果を 1000 件ぐらいを download する。
    images-yahoo.rb  (celerity)

sinatra + haml + sass + jquery (その２)

http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/Edinet/tools/sec/?root=ruby-xbrl
を更新した。

更新内容は、submit ボタンに disabeld 制御を追加した事だ。
検索条件が空の場合にsubmit ボタンを 無効にし、そうでないときにボタンを有効にするようにした。

これは、jquery に本を買ってきて、selector や イベントに処理関数を割り当てる方法を勉強した成果である。

sinatra + haml + sass + jquery

SEC の SIC コードの検索 web アプリを sinatra で作成している。
favicon.ico の設定、jquery の tablesorter, pager の組み込みもできるようになった。

http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/Edinet/tools/sec/?root=ruby-xbrl

つぎのいずれの方法でも起動できる。

$ jruby web-app.rb    // このあと ブラウザで http:;pcalhost:4567 にアクセス
$ ruby web-app.rb   // このあと ブラウザで http:;pcalhost:4567 にアクセス
$ rackup config.ru   // このあと ブラウザで http:;pcalhost:9292 にアクセス

この後は SIC, CIK コードの検索アプリ/Restful サービスとして完成をさせていこう。

SEC サイトから XBRL データを一括ダウンロード

http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/SimpleCrawler/examples/download_xbrl.rb?view=markup&revision=71&root=ruby-xbrl
として、 SEC サイトから XBRL データを一括 download する例を置いた。

http://www.sec.gov/Archives/edgar/xbrldata.tar.gz  として、March 23, 2009 時点の全データが配布されているが、
それ以降のデータは RSS から拾ってくるかなどして補充していく必要がある。
RSS からの XBRL データ download は大分 前に書いているけど。
　http://sourceforge.jp/projects/ruby-xbrl/svn/view/trunk/Edinet/tools/sec/read-rss.rb?view=markup&revision=32&root=ruby-xbrl

兎も角、SEC のデータを集める手段は確立できた。
次の作業は これを Detaouse 化することだ。
(数値情報/非数値データの検索、XML データそのものの取出し, ruby オブジェクトとしての取出し)
を web-service/RESTFull で提供できればと思っている。

EDINET サイトからも XBRLデータを 一括 download しようと思ってが、
mecahanize は javascript を処理できないらしい。
# そもそも EDINET サイトからの XBRLデータ取得が SEC サイトのように簡単
# にできるようになっていない事が問題と思うけど。

gibbler ! (ruby オブジェクトを git 管理)

ruby の sinatra の調査中に、
  ginatra, git-wiki
など、git との連携例を見つけた。

ginatra:  Sinatra製のGitリポジトリブラウザ
     - http://www.moongift.jp/2009/06/ginatra/
git-wiki:  git にデータ保存する wiki
     - http://atonie.org/2008/02/git-wiki

そして、gibbler なんてのも見つけた。
   - http://suke.cocolog-nifty.com/blog/2009/07/ruby-gibbler.html
   > Rubyのオブジェクトに対して git のようなハッシュと履歴の仕組みを持たせるようにするライブラリ

undo/redo 操作なんて、git で管理してしまうことが可能？
データ永続化のストレージとして、git が使える場面はそれなりに存在すると思う。

- http://delano.github.com/gibbler/ には jrubyでも動作するとかいてある。
実際にそこに記載されているサンプル２が ruby 1.8.7, jruby 1.2 での動作を確認できた。
// jruby 1,3 に update するのをわすれているのに 気がついた ...

datamapper の datastore として、git を使う事もできそうだ。
(sqlite3 を memory モードで使って、適宜 git に 保持するなんて方法でもよいかもしれない)

jruby + swing で EDINET2009 タクソノミを閲覧(その9)

http://svn.sourceforge.jp/view/trunk/Edinet/lib/src2009/edinetinstance.rb?root=ruby-xbrl&view=log
の EDINET 2009 のタクソノミ情報を GUI で閲覧できるプログラムを
更新しました。(jruby + swing)

EDINET サイトで、XBRL データを download する場合、一度に複数企業のデータを指定できる。
その場合 1 つの zip の複数企業データが含まれれる。
そのような zip の対しても csv ファイルを全企業分 生成できるようにした。

２企業のデータを含む zip の処理例を示す。
$ ruby edinet2csv.rb ../../sample2009-edinet/XBRL_20090517_155420.zip > 1.csv
(このプログラムは jruby と ruby のどちらでも動作する)

出力結果を openoffice で開いてみる。

jruby + swing で EDINET2009 タクソノミを閲覧(その8)

http://svn.sourceforge.jp/view/trunk/Edinet/lib/src2009/edinetinstance.rb?root=ruby-xbrl&view=log
の EDINET 2009 のタクソノミ情報を GUI で閲覧できるプログラムを
更新しました。(jruby + swing)

- zip ファイルを扱う
- 簡易表示テンプレートの追加

EDINET サイトから download する XBRLデータは、zip 圧縮されています。
アプリケーション画面への Drop, [file] - [open]で この zip ファイルそのもの処理できるようにしました。
(アプリ側で、./temp/ 以下に zip を自動解凍し、そのファイルに対して処理をするようにしただけ)
本当は、xbrl データ (*.xbrl, *.zip) などの URL を webブラウザから drop できたらと考えていたが、
EDINET サイトでの XBRL データ参照は、URL で簡単に 指し示せるようになっていないのであった....

今 書籍 財務マネジメントの基本と原則 を読んでいます。
この書籍中の BS, PL, CF, 基本値 の表示を得るようなテンプレートをつくりました。
書籍では、株発行数、株価も指標としていますので、次は これらの値を web サービスなどで取得して表中に表示したいと思う。