1

私はHadoopクラスターを持っており、さまざまなプロセスがこのクラスターにmapreduceジョブを送信できます（すべて同じユーザーアカウントを使用します）。

これらの仕事を区別する方法はありますか？「これはプロセス「1234」のジョブです、触れないでください」のように、送信中にジョブに追加できるある種の説明？

私はPythonとHadoopStreamingを使用しており、単純なものを使用してhadoop job -list（または、少なくともWeb管理インターフェイスを使用して）ジョブを区別したいと考えています。

4

2 に答える 2

0

相互互換性のあるソリューションの場合、いつでもを使用しmapred.job.nameてジョブの名前を指定できます。これにより、hadoop job -list後ですべてを簡単に区別できるようになります。

Hadoopストリーミングの場合、これは次のようになります。

hadoop jar $HADOOP_STREAMING_JAR -Dmapred.job.name='something' -mapper mapper.py -reducer reducer.py -input /path/to/input -output /path/to/output
于 2013-02-21T16:20:09.463 に答える