クラウド
久しぶりのビッグデータ関連の投稿。昨年7月に書いたレポートを掲載する（末尾のリンク）。レポートで取り扱うのは、「数百万ー数億の説明変数がある判別問題においてMapReduceを用いてスケーラブルに変数選択をする方法論」について。統計方向からの勘弁な…
Office365を使っているのだが、WindowsからはSharepointオンラインにあるドキュメント・フォルダー（OneDrive for Businessにあるドキュメント・フォルダー）をエクスプローラーで開くことができる。ビデオ エクスプローラーで開く を使ってライブラリ ファ…
ようやく以前やりたかったことができた。 というのは、「S3バケットにおいたテキストファイルをDistributed Cacheとして使う」こと。twasinkさんがGitHubに公開してくれているコードのおかげ。Thank you.Distributed Cacheを使いたいケースはままあって、例…
前々回の記事では、１変量の算術平均を計算した。 今回は、以下の形式（多変量データ）の「各列」、つまり「各変量」の平均値を計算する。前々回の記事で述べたように、「超多変量」＝「超高次元」がビッグデータの本質の１つである。せっかくなので、自分の…
前回の記事で、Hadoop2にしたら随分たくさんMapとReduceが動いたので、スレッドじゃないよね、と思ってしまった。特にMapperは起動の仕方でプログラムがデタラメになってしまうので、ちょっと調べてみた。Hadoop2.4のAPIをみると、Mapperをつかってる限りで…
ワードカウントに続き、今回も簡単なHadoopMapreduceのサンプル・プログラムを作ってみる。昨年の記事を参考にして、Amazon Elastic MapReduceのHadoop2.4環境で算術平均を算出する。 データの形式：ビッグデータを視野に入れて。 ビッグデータを視野に入れ…
前回の記事では、前々回に作成したワードカウントのサンプルをAWSマネージメントコンソールから実行した。 GUIから実行するのは簡単なのだが、回数が多くなってくると面倒くさい。なので、Elactic MapReduce Client Rubyでの実行方法と、SSHでログインして（…
前回の記事で作成したワードカウントをAmzon Elastic MapReduceで実行してみる。まず、プログラムと入出力ファイルの置き場所、プログラムの実行方法を決めておく。 ここまでの検証で、プログラム（jarファイル）の置き場所は、 S3 マスタノード の２パター…
今回は、ちょっとした備忘。 Amazon Elastic MapReduceの環境を初期設定するために、bootstrap actionsというのが定義できる。クラスタ起動時にHadoopが開始される前、各インスタンスに対して実行される。（詳しくはAWS Documentation（英語）を参照） ここ…
前回に引き続き、使用するHadoopのバージョンは2.4。１年前の記事をもとに、Eclipseで開発環境を作る。開発を行うクライアントは、MacBook Pro (OSX 10.9.3）。クライアントのJavaのバージョンは以下。 MacBook-Pro:~ tetsuya$ java -version java version "…
今回から（覚悟を決めて）Hadoop2のAMIを使ってみる。 Hadoop2系は、昨年の秋、バージョン0.23から2.2というバージョン番号が付与されたプロダクト（Hadoop1系は0.20からメジャーバージョンが付与された）。YARN（Yet Another Resource Negotiator）という分…
Amazon Elastic MapReduceはEC2インスタンスで構成されている。ということは、SSHなどでログインが可能だし、クライアントから直接データやプログラムが配備できる。 AWSのサイトにも書いてあるし、（日付が古いが）「Amazon Elastic MapReduce ドキュメント…
以前より、アカウントのSecurity Credentialsにアクセスすると、「AWS Identity and Access Managementに移行せよ」とか、Secret Access Keyを見ようとすると「見られなくなるよ」とか出てくるのは分かってたんだけど、放っておいた。例えば、Security Credi…
Ruby製のクライアント・ツールのダウンロード、ジョブフローの作成（クラスタの作成）、ステップの追加、ジョブフローの停止を行う。 基本的に１年前の記事を追って行う。クライアントは、Mac Book Pro(OSX 10.9.3)。Rubyのバージョンは以下。 バージョン 2.…
前回の記事では、Amazon Elastic MapReduceでWord Countサンプルを実行後、クラスタを停止した。今回は、そのクローンを作成し、Word Countを再実行する。１回実行したジョブを再実行するのに便利な機能。Amazon Web Servicesにログインし、Elastic MapReduc…
前回の記事では、Amazon Web ServicesのEMR（Amazon Elastic MapReduce）で、マネージメント・コンソールからクラスタを作成した。 今回は、同じくマネージメント・コンソールから、サンプルプログラム（Word Count）を起動してみる。 Pythonで書かれたサン…
先日、学会の発表を聞いていて、久しぶりにHadoop+MapReduceをやってみようという気になった。 気がついてみると、昨年の6月〜7月にHadoop+MapReduceの評価をやっていたので、１年ぶりとなる。1年も経てば、さぞかし変わってしまっているだろうと思っていた…
Amazon Web ServicesのEMR（Amazon Elastic MapReduce）を、マネージメント・コンソールから一通り動かしてみる。 最初の画面（下）で「Create Cluster（青いボタン）」をクリックする。 すると、クラスタをコンンフィギュレーションする画面に切り替わるの…
仕事が忙しくて、更新に間があいてしまった。前々回、前回のログでApache Mahout0.7で実装されている「Parallel ALS (Parallel Alternating Least Squares）アルゴリズム」をつかって、とても簡便にスケーラブルなリコメンデーションエンジンを構築してみた…
先のログでは、Parallel ALS(Alternating Least Squares）による分散レコメンデーション環境を手っ取り早く用意して、チェコスロバキアの「Libimseti.czという出会い系サイト（http://www.libimseti.cz/）」の1700万件の評価データで、分散レコメンデーショ…
追記：2013/9/17 このログの続編の投稿が完了しましたので、記事の末にリンクを追加しました。これで、このログの方法を応用した分散レコメンデーションエンジンの構築もばっちり（のはず）です。 先のログでは、Parallel ALS(Alternating Least Squares)を…
今回のログで、密な行列同士の乗算を一旦終わりにしたいと思う。 この話題については、物理の方に論文がありそうなので、そちらをチェックする予定。Fast Multipole Methodなどの論文を、「チラ見」すると、確かに天体物理や磁場を研究する人たちに、大きな…
ビッグデータの記事がまた新聞に掲載された。 さて、「ポイントカード」ってなんなのだろう。 「コンビニ大手はポイントカードを使って、年間１５０億人の購買履歴のビッグデータをもとに、品揃えなどに反映させている。 … ファミマがTSUTAYAと提携する「Tポ…
前回までのログで、観測値行列から相関行列を求めるための一通りの仕組みができた。この開発をスタートするときに、以下の目標を立てた。 実行時間の目標：以下のクラスターを用い、5000変量で、各変量につき5000サンプルあるとして1時間以内での計算を行う…
前回のログで、共分散行列 まで計算ができた。今回はいよいよ相関行列を計算する。相関行列の計算式は以下である。 ただし、 である。この対角行列はステップ３・４で計算した。ステップ７・８にあたる「共分散行列の前後に、対角行列をかける」については、…
Hadoop MapReduceで相関行列を計算する：ステップ５：観測値の平均からの偏差を求める (step5: subtract means from samples in matrix form)
MapReduceで大きな（5000変量〜）相関行列を求めるプログラム作りも、ようやく折り返し地点。 今日は、行列 を算出するステップのコードを作成する。。 注記；標準偏差の算出に不偏分散を用いたので、スケールを合わせるため、サンプルサイズ（n）−１の平方…
前回までで、Hadoop MapReduceによって観測値の平均と標準偏差を算出した。今回のログでは、標準偏差を対角要素としてもつ行列とその逆行列を計算する。話を進めるにあたり、少しだけ式を書かなければならない。まず、対角行列とは、以下のフォーマットを満…
今回は、前回に引き続き、第２ステップとして、変量ごとの標準偏差を計算するプログラムを実装する。以前のログでも、多変量の場合の標準偏差の計算を実装したが、以下のようにデータ形式を変更したので、過去に作成したプログラムを修正することとする。 行…
少し間が開いてしまったが、以前のログの続きで「相関行列」を求める一連の処理を実装する。なぜ、相関行列を求めることに固執しているか、といえば、統計学的には多変量解析の一番基本的な量であるし、また、機械学習のエリアでも登場する量であるから。今…
話が脇道にそれてしまうが、2013/7/18の読売新聞の記事を見て驚いた。１面トップに「Suica履歴売り出す JR東日本」。 どんな情報を売り出したのだろうと読んでみたところ、 提供データは私鉄を含む首都圏約1800駅の利用者の性別、年齢、乗降日時。定期券とし…
