0

S3 インスタンスに 200 GB の大きなファイルがあり、ローカルに移動して作業を行うことを考えています。私の考えでは、最初にファイルを gzip してからローカル マシンに scp して、S3 の IO のコストを削減し、時間を節約することも考えています。

ただし、S3 の gzip ステップには時間がかかります。私の考えでは、S3 は実際には大きなディスクであり、どういうわけか、データは実際に EC2 に戻ってから S3 に戻り、IO に時間がかかりすぎています。

どうすればその問題を回避できるのだろうかと思っています。

4

1 に答える 1

0

S3 は実際には大きなディスクではありません。1つに見えるレイヤーもあるが、最終的には1つにはならない。ディスクではブロックの読み取りと書き込みを行い、s3 ではオブジェクト全体の読み取りと書き込みを行います。

s3fs を使用してこれを実行しようとしていると思います。これは、ファイルに対して操作を行う前にファイルをローカルに (/tmp に) コピーします。

于 2013-10-16T18:49:40.763 に答える