Hadoop ストリーミング マップのみのジョブを使用して、Unix フィルターを介して HDFS ファイルをパイプ処理するスクリプトを作成しようとしています。入力の分割は気にしません。ファイルはすべて圧縮されています。私はキーと値のペアを気にしません。また、Hadoop が出力に貼り付けたいタブを取り除くのにかなりの時間を費やしています。私は単純な生のバイナリ データの入出力を好みますが、UTF-8 テキストまたは類似の行を扱うこともできます。
typedbytesなどを使用して、mapreduce.output.textoutputformat.separatorとのさまざまな設定を試しましたが、タブが消えません。何か案は？stream.map.output.field.separator
それが違いを生む場合、YARN（MRv2）でCDH 4.1を使用しています。