3

MRの仕事で

FileOutputFormat.setCompressOutput(job, true);
FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);
MultipleOutputs.addNamedOutput(job, OUTPUT, TextOutputFormat.class, NullWritable.class, Text.class);

私のレデューサーで

String myKey = "key"+i;
mos.write(OUTPUT, NullWritable.get(), new Text(lin), myKey);

実際の出力ファイル:

key10-r-00001.gz
key10-r-00002.gz
key11-r-00000.gz
key11-r-00006.gz
key19-r-00000.gz

しかし、私が期待しているのは次のとおりです。

key10.gz
key11.gz
key19.gz

実際の出力ファイルの名前を変更してマージするには、シェル スクリプトを使用する必要がありますか? または、追加の手順なしで MR Job で試すことができる他の解決策はありますか? ありがとうございました!

4

0 に答える 0