amazon-s3 - 大きなファイルの場合、botoは遅いですか？

Question

100MB以上のオーダーで、大きなファイルをアップロードするためのいくつかのパフォーマンステストを行っています。物事を分割して断片を並行してアップロードすることについての投稿を読んだことがありますが、大きなファイルがどれだけ速く進むことができるかを理解しようとしています。

アップロードを実行し、collectlを使用してパフォーマンスを秒単位で監視すると、5MB/秒を超えることはありません。一方、ファイルサイズを50MBに減らすと、20MB/秒でアップロードできます。

ファイルサイズに基づいた魔法が起こっていますか？単一の100MBファイルのアップロードを高速化する方法はありますか？500MB、さらには5Gだったらどうなるでしょうか？

うーん、何度も試してみましたが、一貫して5MB /秒でしたが、もう一度試してみると15を超えました。これは、帯域幅を共有しているためですか？

-マーク

Answer 1

あなたが観察している変動性を説明する魔法が boto で起こっていることは間違いありません。この方程式には非常に多くの変数があります。たとえば、インターネットへの接続、プロバイダーのバックボーンへの接続、全体的なネットワーク トラフィック、S3 の負荷などです。決定的な答えを得るのは非常に困難です。

一般に、マルチパート アップロードとある種の同時実行を使用すると、最高のパフォーマンスを達成できることがわかりました。botoのs3putコマンド ライン ユーティリティは、これを行う 1 つの方法の例を提供します。また、S3 バケットが特定のリージョンにある場合、一般的な S3 エンドポイントではなく、その特定のエンドポイントに接続すると、パフォーマンスが向上する可能性があります。