Pig の PigStorage がデータを S3 に保存する方法を知りたいですか? 出力を HDFS に保存してからコピーしますか? または、各レデューサーの出力を各レデューサーのローカル ディレクトリに保存してから、それらを S3 にコピーしますか? S3はファイルまたはディレクトリの配置のみをサポートしているため、これはストリーミングできないと思いますか?
質問する
643 次
Pig の PigStorage がデータを S3 に保存する方法を知りたいですか? 出力を HDFS に保存してからコピーしますか? または、各レデューサーの出力を各レデューサーのローカル ディレクトリに保存してから、それらを S3 にコピーしますか? S3はファイルまたはディレクトリの配置のみをサポートしているため、これはストリーミングできないと思いますか?