0

すべてのジョブはhadoop-streamingを使用して正常に実行されていましたが、突然、ワーカーマシンの1つが原因でエラーが発生し始めました。 

Hadoop job_201110302152_0002 failures on master

Attempt Task    Machine State   Error   Logs
attempt_201110302152_0002_m_000037_0    task_201110302152_0002_m_000037 worker2 FAILED  
Task attempt_201110302152_0002_m_000037_0 failed to report status for 622 seconds. Killing!
-------
Task attempt_201110302152_0002_m_000037_0 failed to report status for 601 seconds. Killing!
Last 4KB
Last 8KB
All

質問： 

- Why does this happening ?  
- How can I handle such issues?

ありがとうございました

4

1 に答える 1

1

デフォルトで 600 秒に設定されているmapred.task.timeoutの説明には、「タスクが入力の読み取りも出力の書き込みもステータス文字列の更新も行わない場合に、タスクが終了するまでのミリ秒数」と書かれています。

mapred.task.timeout の値を大きくすると問題が解決する可能性がありますが、map タスクが入力データの処理を完了するのに実際に 600 秒以上かかるかどうか、またはコードにバグがあるかどうかを確認する必要があります。デバッグされました。

Hadoop のベスト プラクティスによると、マップ タスクは InputSplit を処理するのに平均で 1 分ほどかかります。

于 2011-10-31T12:19:37.063 に答える