hadoop - Hadoopストリーミング用のHadoopジョブオブジェクトの構築

Question

JavaからHadoopストリーミングジョブを構成して実行しようとしています（使用しているシステムでは、HadoopジョブをJavaメソッドで呼び出し可能にする必要があります）。

createJobメソッドはorg.apache.hadoop.streaming.StreamJob（http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/streaming/StreamJob.html#createJob(java.lang.String []））で見つかりました。、ただし、このメソッドはJobConf非推奨のオブジェクトを返します。Jobストリーミング用のオブジェクトを作成する方法、またはをに変換する方法はありJobConfますJobか？

Answer 1

新しいAPIをサポートするためのストリーミングコードの移植に関するJIRAチケットはいくつかありますが、私の知る限り、まだ一般に公開されていません。

• https://issues.apache.org/jira/browse/MAPREDUCE-1122
• https://issues.apache.org/jira/browse/MAPREDUCE-3619

JobConfを使用して古いAPIジョブを送信する方法は非推奨ですが、Hadoopの最新の1.0.3リリースでは引き続きサポートされていることに注意してください。