1

Amazon AWS で Elastic Mapreduce インフラストラクチャを使用しています。ジョウフローが自動的に終了しました。Amazon コンソールによる最後の状態変更の理由は、「ジョブ フロー内のすべてのスレーブが終了しました」です。

ジョブフロー コマンドの作成:

elastic-mapreduce --create --name MyCluster --alive --instance-group master --instance-type m1.xlarge --instance-count 1 --bid-price 2.0 --instance-group core --instance-type m1.xlarge --instance-count 10 --bid-price 2.0 --hive-interactive  --enable-debugging

ジョブフローの詳細: ここに画像の説明を入力

ログの最後の数行... 

Total MapReduce jobs = 2
Launching Job 1 out of 2
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201310231204_0099, Tracking URL = http://ip-10-197-16-105.us-west-1.compute.internal:9100/jobdetails.jsp?jobid=job_201310231204_0099
Kill Command = /home/hadoop/bin/hadoop job  -Dmapred.job.tracker=10.197.16.105:9001 -kill job_201310231204_0099
2013-10-23 14:11:38,618 Stage-1 map = 0%,  reduce = 0%
2013-10-23 14:11:48,741 Stage-1 map = 100%,  reduce = 0%

上記のログでわかるように、エラー自体はスローされません。

私が考える理由は

これは、スポット インスタンスの価格が急上昇したために発生したと思います。詳細については、以下の私の回答をご覧ください。

4

1 に答える 1

5

ここで私は自分の質問に答えています。

これはスポットインスタンスの価格が急上昇したためだと思います。私の入札価格は、m1.xlarge インスタンスのインスタンスあたり 1 時間あたり 2 ドルでした。

aws コンソール スポット インスタンス料金のスナップショット:

AWS コンソール スポット インスタンス料金のスナップショット

価格の青いジャンプに気付くことができます。私の入札額は 2 ドルで、実際の価格は 11 ドルに跳ね上がりました。したがって、私のクラスターは自動的に強制終了されました。

于 2013-10-23T19:05:30.047 に答える