1

ここ数週間、Hadoop ストリーミングを使用して毎日いくつかのレポートを計算しています。最近、プログラムに変更を加えました。入力サイズが 10MB 未満の場合、JobConf で mapred.job.tracker=local を設定すると、ジョブがローカルで実行されます。

しかし、昨夜、多くのジョブが失敗し、runningJob.getJobState() によってステータス 3 が返されました。理由はわかりませんが、stderr には何もありません。

この質問に関連するものは何もグーグルできません。それで、本番モードで mapred.job.tracker=local を使用する必要があるかどうか疑問に思っていますか? おそらく、hadoop が提供する開発中のデバッグ ソリューションにすぎません。

誰かそれについて何か知っていますか？何でも、どんな情報でも、ありがとう。

4

1 に答える 1

0

デフォルト値のように、設定はエラーmapred.job.tracker=localとは何の関係もないと思います。localこの構成パラメーターは、MapReduceジョブトラッカーが実行されるホストとポートを定義します。「ローカル」に設定されている場合、ジョブは単一のマップとしてインプロセスで実行され、タスクを削減します。

ここを参照してください。

于 2013-01-09T08:18:08.040 に答える