0

map reduce の耐障害性をテストしています。タスク ノードの 1 つでネットワーク サービスを停止すると、このノードに割り当てられたタスクが他のノードに再割り当てされることがわかりました。それはとても良いことです。

ただし、マッパーが例外をスローした場合 (例: ローカル リソースへのアクセス エラー)、MR ジョブは失敗したタスクを他のノードに再割り当てせずに完了します。

Hadoop に失敗したタスクを他のノードに再割り当てさせる方法はありますか? たぶん、いくつかの指定された例外をスローしますか?

ありがとう。

4

1 に答える 1

0

タスクが例外をスローしているメソッドはどれですか?

TaskUmbilicalProtocol.done() メソッドから例外をスローしている場合は、別のアプローチを試すことができます。

TaskUmbilicalProtocol.fatalError() メソッドをオーバーライドして、例外をスローしてみてください。

于 2013-11-06T10:33:33.743 に答える