image

  • フォト Amazonギフト券
    ※この時計の時刻は、閲覧しているパソコンのものであり、必ずしも正確な時間とは限りません

検索

最近のトラックバック

無料ブログはココログ

« ピックアップ:『東京マグニチュード8.0』が陸上自衛隊とタイアップ, Pro Git - Table of Contents, etc... | トップページ | ピックアップ:Sudoku 100,000,000 数独マニアへ、市場調査をしない Apple のビジョン, etc... »

2009-07-31

解決:libxml-ruby/datamapper は不安定?

次の2つの情報を net 上で得た。
- http://osdir.com/ml/lang.ruby.modules.libxml.devel/2008-07/msg00094.html
> Re: [ libxml-Bugs-8337 ] Opening many files causes: msg#00094 lang.ruby.modules.libxml.devel

GC.start をファイルオープン前に呼ぶと良いらしい。

- http://www.iteray.com/archives/133
> libxml-ruby problems on Mac OS X | Iteray

sudo bash
ARCHFLAGS='-arch i386' gem install -r libxml-ruby -- --build-flags --with-opt-lib=/opt/local/lib
のようにして、libxml-ruby を insutall すると良いらしい。

これらをおこなったところ、やっと SEC で zip 公開されている XBRL データの
全インスタンスをDB 格納できた。
(ただし、 901491/000110465908020683/pzza-20071230.xml.org は
mlns:pzza="http://www.pzza.com\"
=>
mlns:pzza="http://www.pzza.com"
へ書き換えをして、XML 処理時にエラーが発生しないようにした)

$ ruby sample00.rb -i /Users/youichikato/work/www/EDGAR/data/*/*/*-*[0-9].xml

"facts:    190135"
"units:    1644"
"contexts: 10574"
インスタンスファイル数:658 ファイル
DB 作成: 約3 時間30分 (12259秒)
DB (b.sqlite3) のサイズ   89MB

NetIncomeLoss の検索(925箇所): 15 秒

sqlite3 ではちょっと遅いな。
Mysql5 で試してみようと思う。

« ピックアップ:『東京マグニチュード8.0』が陸上自衛隊とタイアップ, Pro Git - Table of Contents, etc... | トップページ | ピックアップ:Sudoku 100,000,000 数独マニアへ、市場調査をしない Apple のビジョン, etc... »

コメント

コメントを書く

(ウェブ上には掲載しません)

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/184434/45789758

この記事へのトラックバック一覧です: 解決:libxml-ruby/datamapper は不安定?:

» ■東京マグニチュード8.0 第04話「三人の、約束」はコチラ [東京マグニチュード8.0 動画集]
■東京マグニチュード8.0 第04話「三人の、約束」はコチラ [続きを読む]

» 東京マグニチュード8.0 原作 [厳選!今日のスポーツ芸能ニュース]
(Blu-ray)東京マグニチュード8.0 第2巻商品価格:5,040円レビュー平均:0.0 東京マグニチュード8,0っておもしろいですか?ストーリーを教えてください。東京マグニチュード8,0っておもしろいですか?ストーリーを教えてください。[⇒回答を読む] ノイタミナ東京マグニチュード8.0はTNCでは放送しないのでしょうかノイタミナ東京マグニチュード8.0はTNCでは放送しないのでしょうか[⇒回答を読む] この後、大きな地震がくるのですか!?千葉県在住の者です。ここ数日、毎日地... [続きを読む]

» 数独DS [数独DS]
数独DSの最新動画や評価レビュー、攻略情報なら「数独DS」へ! [続きを読む]

» 【Ruby屋さんの座右の書に】Ruby逆引きハンドブック [ぱふぅ家のサイバー小物]
逆引きの内容がとても細かく助かる。 [続きを読む]

« ピックアップ:『東京マグニチュード8.0』が陸上自衛隊とタイアップ, Pro Git - Table of Contents, etc... | トップページ | ピックアップ:Sudoku 100,000,000 数独マニアへ、市場調査をしない Apple のビジョン, etc... »

mokuji

2013年12月
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        

google

  • twitter
  • __
  • _
    Googleボットチェッカー

合わせて読む

  • 合わせて読む
    フィードメーター - katoy: cocolog あわせて読みたい

リンク