2011-05-01から1ヶ月間の記事一覧

marisa-build のメモリ消費はどのくらい?

以前から「調べなきゃー」と思いつつ忘れていた内容です.marisa-build を使って辞書を構築するときのメモリ消費(ピーク)を /usr/bin/time -v により計測してみました.# /usr/bin/time -v の Maximum resident set size (kbytes) を確認したわけですが,g…

冪乗則と一様分布と遷移キャッシュ

これまでキーの参照頻度が一様分布に従うという無茶な仮定の下で実験をすることが多かったのですが,遷移キャッシュを導入したということもあり,冪乗則だとどうなるのかを調べてみました.実験に用いたデータは,日本語ウェブコーパスにおける頻度 1000 以…

SWIG を使ったときの性能(メモ)

Perl, Python, Ruby とバインディングを用意してみたものの,C++ と比べて驚くほど遅くなってしまうことに気づきました.原因としては,メソッドの呼び出しにおけるオブジェクトの相互変換が有力です.辞書の構築時間や検索時間を計測した結果を表にしてみま…

Perl, Python, Ruby バインディングの追加(marisa-0.2.0-beta5)

概要 marisa-trie に Perl, Python, Ruby バインディングを追加したものを marisa-0.2.0-beta5 としました.使い方は C++ とほぼ同じです. プロジェクト http://code.google.com/p/marisa-trie/ ドキュメント http://marisa-trie.googlecode.com/svn/trunk/…