2014/6/7 記事を更新しました。 Amazon Elastic MapReduceを使う：Rubyクライアント・ツールを使う。 - 前回は、AWS Management ConsoleからMapReduceのサンプルを実行した。参考にした「Hadoopファーストガイド」でruby製のコマンドラインツールを紹介して…

2014/6/7 : 記事を更新しました。 Hadoop、おしさしぶり（It's long time to see, Hadoop.） Amazon Elastic MapReduceを使う：マネージメント・コンソールからのクラスタの起動 Amazon Elastic MapReduceを使う：マネージメント・コンソールからサンプルを…

Hadoop MapReduceが、2004年12月に行われた6th Symposium of Operating System and Implementation（San Francisco , Dec.6-8）において発表された「MapReduce: Simplified Data Processing on Large Clusters (Dean, J. and Ghemawat, S. 2004)」に触発され…

一口に「Twitterの記事から語句の出現頻度を取得する」といっても、前段階の準備が大変だ。ここまでのログで Hadoopの開発環境の構築 JavaプログラムによるTweetの取得 JavaプログラムとMecabによるTweetの品詞分解（語句の抽出） Amazon EC2上でのHadoopの…

EC2上にHadoopをインストールする手順は、たくさん記事にされているが、備忘のためログにしておく。 「kj-kiのはてなダイアリー：疑似分散モードでHadoopインストール」を参考にさせていただいた。スケールアウトのメリットを測定することが当面の目的ではな…

前回のログで、TwitterからTweetとアカウント名称を取得した。 「エコノミスト」誌（6/4号）の特集記事のように、Tweetに含まれる語句のワードカウントをとるには、先のデータを品詞分解（形態素解析）しなければならない。ここでは、形態素解析エンジンとし…

「エコノミスト誌（6/4号；使える統計学）」で特集を組んだ「Twitterのつぶやきから景気動向指数を推定する」についてだが、第一ステップの簡単な絵を書くと、以下のようになる。 NTTデータさんが、Twitterの全データの取得権を持っている（これは、「権利を…

2014/6/13 新しい記事があります。 「EclipseでHadoop2.4の開発環境を作る＆ワードカウントのプログラムを作成する。」 - Hadoopを実験するにあたって、プログラムが作れる環境を構築した。 構築には、「30 分で NetBeans を使って Hadoop のプログラムを作…

数年前から「ビッグデータ」という言葉をよくきく。Googleの影響が大きいことことに加え、Amazon Web Service(AWS)や、GFSやMapReduceのオープンソースソフトウェア（Apache Hadoop）といった実行環境が使えるものになってきて、「Googleが実現したことを身…