amazon-s3 - S3 を MapReduce ジョブ入力として使用する

Question

Amazon S3 でファイルを読み取り、ローカル hdfs でデータを処理する MR ジョブがあります。ファイルは .gz として圧縮されたテキスト ファイルです。以下のようにジョブをセットアップしようとしましたが、うまくいきません。最初にファイルを解凍するために追加の手順を追加する必要がありますか?

ありがとう！

String S3_LOCATION = "s3n://access_key:private_key@bucket_name"

protected void prepareHadoopJob() throws Exception {    

    this.getHadoopJob().setMapperClass(Mapper1.class);
    this.getHadoopJob().setInputFormatClass(TextInputFormat.class);

FileInputFormat.addInputPath(this.getHadoopJob(), new Path(S3_LOCATION));

this.getHadoopJob().setNumReduceTasks(0);
this.getHadoopJob().setOutputFormatClass(TableOutputFormat.class);
this.getHadoopJob().getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, myTable.getTableName());
this.getHadoopJob().setOutputKeyClass(ImmutableBytesWritable.class);
this.getHadoopJob().setOutputValueClass(Put.class);
}

Answer 1

通常、最初にファイルを解凍する必要はありませんが、エラー メッセージの詳細がないと、何が問題なのかを特定するのは困難です。