2010-07-23から1日間の記事一覧

形態素解析器(MeCab)の出力データを圧縮するとどのくらいのサイズになるか?

MeCab の出力データを圧縮するとどのくらい小さくなるのかを調べてみました. テキストの圧縮結果 まず,形態素解析する前のテキスト(UTF-8)を圧縮してみたところ,圧縮率(※)は 20 - 30% 程度になりました.やはり,xz の圧縮率は魅力的です.bzip2 は伸…