S3 インスタンスに 200 GB の大きなファイルがあり、ローカルに移動して作業を行うことを考えています。私の考えでは、最初にファイルを gzip してからローカル マシンに scp して、S3 の IO のコストを削減し、時間を節約することも考えています。
ただし、S3 の gzip ステップには時間がかかります。私の考えでは、S3 は実際には大きなディスクであり、どういうわけか、データは実際に EC2 に戻ってから S3 に戻り、IO に時間がかかりすぎています。
どうすればその問題を回避できるのだろうかと思っています。