amazon-s3 - S3でファイルを圧縮

Question

S3 に 17.7GB のファイルがあります。これは、Hive クエリの出力として生成されたものであり、圧縮されていません。

圧縮すると約2.2GB(gzip)になることがわかっています。転送がボトルネック (250kB/s) である場合、このファイルをできるだけ早くローカルにダウンロードするにはどうすればよいですか。

S3 でファイルを圧縮したり、s3cmd、boto、または関連ツールで転送時に圧縮を有効にしたりする簡単な方法は見つかりませんでした。

Answer 1

S3 はストリーム圧縮をサポートしておらず、アップロードされたファイルをリモートで圧縮することもできません。

これが 1 回限りのプロセスである場合は、同じリージョンの EC2 マシンにダウンロードし、そこで圧縮してから、宛先にアップロードすることをお勧めします。

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EC2_GetStarted.html

これがもっと頻繁に必要な場合

S3 経由で Amazon CloudFront から gzip 圧縮された CSS と JavaScript を提供する