1

こんにちは、snappy で圧縮された avro データを入力として受け取り、それを処理して、データを出力ディレクトリに avro 形式で出力する MR2 ジョブがあります。この出力 avro データもきびきびと圧縮されている必要がありますが、そうではありません。MR ジョブはマップのみのジョブです。

コードで次のプロパティを設定しました

conf.set("mapreduce.map.output.compress", "true"); conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");

しかし、それでも出力はきびきびと圧縮されていません

4

3 に答える 3

0

これで、map フェーズの中間出力が圧縮されました。代わりに、次のコマンドを使用する必要があります (詳細については、このプレゼンテーションと特にスライド 9 を参照してください)。

conf.setOutputFormat(SequenceFileOutputFormat.class);
conf.set("mapreduce.output.fileoutputformat.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");

または希望する代替手段ですが、これらの構成に「マップ」という単語を含めないでください。そうしないと、中間出力に関するものになります。

于 2015-06-05T07:31:24.297 に答える