先のログでは、Parallel ALS(Alternating Least Squares）による分散レコメンデーション環境を手っ取り早く用意して、チェコスロバキアの「Libimseti.czという出会い系サイト（http://www.libimseti.cz/）」の1700万件の評価データで、分散レコメンデーショ…

追記：2013/9/17 このログの続編の投稿が完了しましたので、記事の末にリンクを追加しました。これで、このログの方法を応用した分散レコメンデーションエンジンの構築もばっちり（のはず）です。 先のログでは、Parallel ALS(Alternating Least Squares)を…

さて、前回のログでは、Mahout 0.7に付属する「factorize-movielens-1M.sh」というサンプルをつかって、Pararell ALSというアルゴリズムを動かしてみた。 少し誉めすぎた感が否めないので、原論文「Large-scale Parallel Collaborative Filtering for the Ne…

さて、夏休みもそろそろ終わり。総力（自分のですが）を結集して、一仕事してみたいと思います。今回のログでは、MahoutのサンプルにあるParallel ALS（という次元縮約の分散計算アルゴリズム）を使ったジョブを動かしてみる。Mahoutに、Parallel ALS(Altern…

先のログでは、Apache Mahout 0.8のサンプルにあるcluster-syntheticcontrol.shを用いて、「k-means法」によるクラスタリングについて詳しくみた。同shellでは、他にもいくつかのクラスタリング手法（アルゴリズム）を試すことができる。今回のログでは、残…

先のログでは、MahoutをLocal環境（Mac OSX Mountain Lion）で実行した。今回は、Amazon Elastic MapReduce（EMR）＋Hadoop MapReduceで、k-meansクラスタリングを動かしてみたい。 Mahoutのバージョンは、0.8で行った。EMRの構成は、m1.smallが２台の最小構…

今回は、Eclipse（Juno）でMahoutの開発環境を作成し、「Mahout in Action」にある協調フィルタリング（リコメンデーション）のサンプルを動かしてみる。Mahoutイン・アクション作者: Sean Owen,Robin Anil,Ted Dunning,Ellen Friedman,伊東直子,真鍋加奈子,…

統計学的な話と平行して、機械学習についても進めて行きたかったのであるが、Hadoop MapReduceを使っての相関行列計算にかなりの時間を割いてしまった。今回のログでは、Apache Mahoutをローカル環境で実行してみる。 Apache Mahoutのバージョンは0.7。ロー…

今回のログで、密な行列同士の乗算を一旦終わりにしたいと思う。 この話題については、物理の方に論文がありそうなので、そちらをチェックする予定。Fast Multipole Methodなどの論文を、「チラ見」すると、確かに天体物理や磁場を研究する人たちに、大きな…

本日は、過去に書いたブログからの再掲です。原著は2006/9/17に別のブログに掲載していたものです。====================================先日、久しぶりに（数年前まで生産管理システムを担当していた）製造現場に行ってきました。 私が、生産管理のカスタ…

ビッグデータの記事がまた新聞に掲載された。 さて、「ポイントカード」ってなんなのだろう。 「コンビニ大手はポイントカードを使って、年間１５０億人の購買履歴のビッグデータをもとに、品揃えなどに反映させている。 … ファミマがTSUTAYAと提携する「Tポ…