2010-09-16から1日間の記事一覧

Hadoop とか MapReduce とかはいい,メモリを使うんだ

http://d.hatena.ne.jp/nokuno/20100915/1284564957 のスライドを眺めながら,「メモリを有効利用するのは MapReduce でも重要だよね」などとぼんやりと思いました.以前,N-gram コーパスの作成に MapReduce を試したとき,並列に実行されるプロセスの数と…

文字 N-gram コーパスも近い内にできる予定

文字 N-gram コーパスの方も明後日までには完成しそうです.でも,明日から 2, 3 日は家を空ける予定なので,公開できるのは休み明けになるかもしれません. # 今のところ,ココまでマージできています. # マージが終われば,残るは N による分配と圧縮のみ…