デフォルトでは、マッパー/リデューサーが失敗した場合、hadoop はその他のインスタンスを実行しようとし、4 回 (デフォルト値) 失敗した場合、hadoop は完全な MR ジョブを失敗としてマークします。
生データを処理していますが、MR ジョブがデータの 30% を処理できなくても問題ありません。マッパーの 30% が失敗した場合にジョブを強制終了せず、残りの 70% のデータを出力するように設定できる構成はありますか? コードで例外を処理し、カウンターで失敗と成功の記録を維持できますが、hadoop にそのような構成があるかどうかを知りたいです