Pig

Amazon Elastic MapReduceでPigを使う。(その2;Amazon EMRでサンプルプログラムを実行する)

先のログで作成したサンプルプログラムをAmazon Elastic MapReduce(EMR)で実行する。 Job Flowの作成 elastic mapreduce ruby コマンドラインツールから、Jobフローを作成する。この際、「pigを使うよ」と宣言する。 リージョンは、これまでのサンプルと同…

Amazon Elastic MapReduceでPigを使う。(その1;Eclipseで開発環境を構築する)

PigはHadoop Map ReduceのためのDSL(Domain Specific Language)で、直感的な記述でプログラムの記述ができて、それが(プリ)コンパイラによってMapReduceベースのプログラムに変換される。Pigを記述するDSLはPig Latinと呼ばれる。 Hiveとともに有名なDSL…