Amazon Elastic MapReduceを使う:マネージメント・コンソールでクラスタのクローンを作成する。

前回の記事では、Amazon Elastic MapReduceでWord Countサンプルを実行後、クラスタを停止した。

今回は、そのクローンを作成し、Word Countを再実行する。1回実行したジョブを再実行するのに便利な機能。

Amazon Web Servicesにログインし、Elastic MapReduceを選択すると、過去に作成したクラスタのリストをみることができる。以下は、My cluster。

左端のチェックボックスをチェックすると、画面上のCloneボタンが活性化するので、ボタンをクリックする。すると、ステップもコピーするか?と聞いてくる。

Yesを選択し、ステップ(Word Count)をコピーする。ただし、前回、サンプル実行時、定義を間違ってFailedとなったステップがあったので、これらは削除する(後述)ことにする。
クラスタの属性を変更するため、以下の画面に遷移する。クラスタ名をMy cluster1とする。

Stepsまで、下にスクロールしたのが以下。コピーしたステップの編集・削除ができる。

Failedとなったステップを削除し、残したステップについてoutput先を変更する。

Create Clusterボタンを押すと、クラスターのコピーが完了する。

以下は、上の画面からCluster Listをクリックした画面。新しいクラスタが生成されていることが確認できる。JOD IDが新しく取得されるので注意すること。

My cluster1のDetailをみると、デフォルトで起動する3つのステップ(Hadoop環境の構築、Pig・Hiveの配備)に加え、上でコピーしたWord Countのステップが開始待ちになっていることが確認できる。

しばらくすると、ステップが全て完了する。(StatusがCompletedとなり、Word Countも終了する)

以下は、S3に保存されたクラスタのログ。実行した4ステップ分のログが格納される。

実行結果は上で指定したS3のバケット/フォルダーに保管される。