amazon-s3 - How to write output of Apache Crunch to Amazon S3 bucket

Question

Is there a way through which we can write our Apache Crunch output to S3 bucket. There is a method in crunch pipeline write which takes Target as parameter. Is there a way to add S3 as Target to write method of crunch.

Answer 1

PCollection で書き込みメソッドを使用して、S3 の場所に提供することはできませんか?

PCollection<String> items = ...;
items.write(To.avroFile("s3://bucket/prefix");
pipeline.done();

これは基本的に私たちが行う方法ですが、EMR 内で実行しています。オンプレミス クラスターからデータを移行するには、Hadoop の dist-cp コマンドを使用します。