hadoop - EMR ストリーミング ステップと一緒に他のファイルを使用しますか?

Question

現在、AWS SDK を使用してコピーしたい Hadoop コマンドがあります。

現在使っているコマンド

hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py

私の知る限り、このStreamingStepクラスは、マッパーとリデューサーに加えて、他のファイルが必要になることを Hadoop に知らせる方法を提供していません。

この機能は利用できますか?

Answer 1

-fileオプションHadoopJarStepConfigを必要なファイルのリストとともに渡すことで、これを解決しました。

この質問を参照してください