java - org.apache.hadoop.mapreduce (新規) API を使用している場合、Hadoop MapReduce マッパー出力圧縮を構成する方法を教えてください。

Question

新しい API でマッパーの出力圧縮を有効にすることは可能mapreduceですか? APIに基づいてそうしている例はたくさんありhadoop.mapred.JobConfますが、APIの例はありませんmapreduce。

API を介して構成newできない場合、動作させるために何かできますか?

Answer 1

次のコードを使用して、マップ出力の圧縮を有効にすることができます。

public static void enableMapOutputCompress(Job job) {
    job.getConfiguration().setBoolean("mapred.compress.map.output", true);
    job.getConfiguration().setClass("mapred.map.output.compression.codec",
            SnappyCodec.class, CompressionCodec.class);
}

、org.apache.hadoop.io.compress.SnappyCodecなど、他の圧縮クラスに変更できます。org.apache.hadoop.io.compress.GzipCodecorg.apache.hadoop.io.compress.LzoCodec

SnappyCodec を使用することをお勧めします。