0

レデューサーの出力を圧縮 (できれば gzip) したい。

c# awssdk を使用して EMR ジョブを正常に起動できましたが、目的の結果を得るためにジョブ構成を変更する方法がわかりません。

emr ジョブに次のプロパティを設定する必要があることを理解しています

mapred.output.compress: 真

C#コードでこれを行うにはどうすればよいですか? また、gzipファイルを生成するにはどうすればよいですか?

ありがとう

4

1 に答える 1

0 
 String[] zipArgs = new [] { "-jobconf", "mapred.output.compress=true"};

 HadoopJarStepConfig config = new StreamingStep()
            .WithInputs()
            .WithOutput()
            .WithMapper()
            .WithReducer()
            .ToHadoopJarStepConfig()
            .WithArgs(zipArgs)
            ;

詳細については、 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-output-compression.htmlを参照してください。

于 2013-11-19T17:59:41.017 に答える