0

Hadoop 0.20.2 バージョンでは、次の方法で入出力圧縮を jobconf に追加できます。

jobConf.setBoolean("mapred.output.compress", true);

jobConf.setClass("mapred.output.compression.codec", BZip2Codec.class, CompressionCodec.class);

jobConf は非推奨であり、代わりに job を使用する必要があります。そこに圧縮/解凍を追加するにはどうすればよいですか? 具体的には、wordcount の例を bzip2 ファイルを入力するように変更するにはどうすればよいですか。

public class WordCount {
public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    Job job = new Job(conf, "Example Hadoop 0.20.1 WordCount");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenCounterMapper.class);
    job.setReducerClass(TokenCounterReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

    System.exit(job.waitForCompletion(true) ? 0 : 1);
}
4

2 に答える 2

0

ジョブを送信する際に、以下のように構成クラスを使用します

Configuration conf = new Configuration();
conf.set("mapred.output.compression.codec",
    "org.apache.hadoop.io.compress.BZip2Codec");
Job job = new Job(conf);
于 2011-12-14T13:53:13.993 に答える
0

これは、出力を圧縮するために私が見つけた方法です。

Job job = new Job(conf, "FromToWordStatistics");
job.setJarByClass(FromToWordStatistics.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
 job.setCombinerClass(IntSumReducer.class);
 job.setNumReduceTasks(20);

 SequenceFileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
 SequenceFileOutputFormat.setCompressOutput(job, true);
 SequenceFileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class);
于 2011-12-29T08:04:57.343 に答える