1

Hadoop 1.0.3 を 36 時間稼働させた後、次のように述べています。

INFO mapred.JobClient:  map 42% reduce 0%
     mapred.JobClient: Job Failed: # of failed Map Tasks exceeded allowed limit. FailedCount: 1. 
     java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)

そして止まった。

最初からではなく、Hadoop ジョブを再開することは可能ですか (マップ 0% 削減 0%)?

4

1 に答える 1

2

失敗したジョブを再開する良い方法はないようです。次の点に注意してください。

  1. mapred config [mapreduce.map.maxattempts=1] のように見え、デフォルトは通常 4 です

    mapred.JobClient: Job Failed: # of failed Map Tasks 
exceeded allowed limit. FailedCount: 1.

  2. 通常、失敗した理由を理解したいと思うでしょう。（問題を特定したかどうかは投稿からわかりません）

偽の理由で失敗した可能性があり、失敗トラップを提供することで、この例外を mapreduce プログラムに実装できます。Hadoop API を使用して同じ概念を実装できます。

こちらの回答をご覧ください: https://stackoverflow.com/a/9742235/1515370

于 2013-04-25T18:15:35.393 に答える