前回は、Fulltext Parser ProjectのMecabパーサーと、Bigramパーサーを操作してみた。Mecabパーサーを使うのであれば、Mecabで分かち書きしたテキストをMySQL5.1のデフォルトのパーサーを使って、FULLTEXTインデックスを張ったらどうなるのだろう？？ MeCab…

まず、BigramパーサーとMeCabパーサーの動きを見てみる。 前回のログでつかったWikipediaのデータ（30000レコード；39MB程度）で実験。 Mecabパーサー オミナエシ（女郎花）で実験する。 ワイルドカードなしの検索では、MeCabで分かち書きされた「単語」でな…

昨日のログで、MySQL5.1（FC13のRPMインストール）でFULLTEXTインデックスを張れないと書いたが、自分は諦めが悪い人。 そうしたら、このログ（Wiki）を発見。Fulltext parser pluginのプロダクトでmecabプラグインの導入に成功したとのこと。それなら、やっ…

腰を据えて、MySQL5.1に日本語FULLTEXTインデックスをBi-Gramで作ることに挑戦。まず、Wikipediaのデータは大きすぎる上に、mwdumperが、bz2で圧縮されたダンプを、media wikiにインサートするツールだったので、使うのをやめて、20万件のテキストデータ（UT…

ここしばらくやっていた、Open Business Suiteのlite版をGoogle Codeでリリースした。「いけてないところ」がいくつもあるので、V0.5.0。抱え込んでおくより出しちゃった方がいいですもんね。

「検索」、「検索」というお話があって、さてさてどうしたものか、と思っていたのだが、重い腰をあげて、MySQL5.1にN-Gramプラグインを入れてみることにした。サイズ的には、WHERE LIKE %検索語% のフルスキャンでもなんとかなるだろ、と思ったりするんだけ…