hadoop - Amazon ストリーミング エラスティック mapreduce 入力ファイル名の取得と出力の設定

Question

amazonストリーミング機能を利用していますが、ファイル入力名を取得することはできますか?

また、新しい行が新しいファイルにならないように出力を設定できますか?

Answer 1

これがあなたの質問であれば、これを正しく使用していません。マッパーは、作業中のファイルを気にする必要はありません。--input 引数に一致するセット全体からデータのブロックを取得し、それを STDIN のマッパーに送信します。マッパーは入力を処理し、キー\t* val1 *, val2 ,... を出力する必要があります。これらは、STDIN でレデューサー (の 1 つ) に渡されます。