3

私はHadoopストリーミングでPythonを使用しています。注意深い単体テストにもかかわらず、エラーは必然的に忍び寄ります。そうなると、このエラーメッセージはhadoopが提供するすべてのものです。

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
...

このメッセージは、デバッグには非常に役立ちません。

HadoopストリーミングでPythonスクリプトから有益なエラーを取得する方法はありますか？

4

1 に答える 1

2

実行しているクラスターのジョブトラッカーにアクセスできる場合は、ジョブを見つけて失敗したタスクを探すことで、スクリプトの stderr/stdout にアクセスできます。

于 2012-09-03T23:32:36.100 に答える