3

Pythonスクリプトを使用したHadoopストリーミングで例外を報告するためのベストプラクティスは何ですか？

つまり、入力を理解できないマッパースクリプトがあるとしましょう。Hadoopにジョブを終了してエラーメッセージを報告するように通知するにはどうすればよいですか？

使用loggingして終了しsys.exitますか？

4

1 に答える 1

4

エラーを通知する場合は、Pythonスクリプトからゼロ以外のコードを返します。stderrに任意のログを書き込むことができ、hadoopはそれをタスクログにキャプチャします。reporter:status:<msg>stderr行の前にまたはを付けることで、レポーターとカウンターにステータスを送信することもできます。reporter:counter:<group>,<name>,<increment>

于 2012-06-10T17:16:13.540 に答える