1

Pig の PigStorage がデータを S3 に保存する方法を知りたいですか? 出力を HDFS に保存してからコピーしますか? または、各レデューサーの出力を各レデューサーのローカル ディレクトリに保存してから、それらを S3 にコピーしますか? S3はファイルまたはディレクトリの配置のみをサポートしているため、これはストリーミングできないと思いますか?

4

1 に答える 1

2

私の理解では、各レデューサーはその出力をローカルに書き込んでから、出力をS3にコピーします。

正しく述べたように、S3はストリーミングをサポートしていないため、レデューサーは処理が終了した後にのみ出力をコピーできます。

于 2012-11-30T10:20:38.857 に答える