多くの URL を解析する仕事があります。各タスクが単一の URL を処理する場合、単一の URL の解析で例外がスローされると、タスクは失敗します。通常の Hadoop の動作では、このタスクは 3 回再試行され、その後ジョブは失敗します。タスクが失敗した場合にどうにかして介入し、タスクを無視する独自のコードを書くことはできますか?
1 に答える
1
例外をキャッチしないのはなぜですか？
とにかく、maxMapTaskFailuresPercentとmaxReduceTaskFailuresPercentを適切に設定できます。
于 2012-07-08T17:17:32.917 に答える