S3 を使用して、画像、ドキュメントなど、アプリケーションを介してアップロードされたさまざまなメディアを保存します。プロパティ ソフトウェア業界で働いており、システムに保存されているデータをプロパティ ポータルと交換する手段として、ポータル間の一般的な交換フォーマットは Rightmove BLM データです。フィード仕様。これは基本的に、区切りテキスト ファイルと、FTP 経由で各ポータルに送信される関連メディアを含む zip ファイルです。ただし、プロセスのボトルネックは、圧縮のために S3 からメディアをダウンロードすることです。たとえば、私たちのシステムの 1 つのアカウントは、1000 枚の画像/ドキュメントをダウンロードして、転送の準備のために圧縮することができます (各ファイルは、その特定のポータルの特定の形式 (一意の番号、シーケンス番号など) の名前である必要があります)。 . ただし、PHP SDK を介して S3 から同じリージョンの EC2 サーバーに 1000 個の画像/ドキュメントをダウンロードするには、ある程度の時間がかかります (60 秒以上)。複数のアカウントに対して同時にこれを行うと、サーバーにかなりの負荷がかかります。
EC2 インスタンスでファイルを準備して圧縮できるように、S3 からファイルをダウンロードするためのより良い/より高速な方法はありますか?
ありがとう。