サーバーからAmazonS3バケットに最大100,000枚の画像を転送する最速の方法を探しています。
それは、すべての画像をループして、個別のPUTリクエストを実行することでしょうか?もっと早い方法があると思っていましたが、何も見つかりませんでした。
サーバーからAmazonS3バケットに最大100,000枚の画像を転送する最速の方法を探しています。
それは、すべての画像をループして、個別のPUTリクエストを実行することでしょうか?もっと早い方法があると思っていましたが、何も見つかりませんでした。
カタツムリメールを試してみませんか?
s3ファンネル。先週これを使用して、約 3,000,000 枚の画像を S3 に転送しました。マルチスレッドなので、非常に高速になる傾向があります。多くの商用およびオープンソース ツールをテストしましたが、s3funnel は群を抜いて最高の IMO です。
S3に精通していませんが、一括アップロードツールがない場合は、ネットワーク接続が最大になるまで、複数の並列プロセスで画像をループすることで処理速度を上げることができます。
私たち(CloudOpt)は、CloudOptimizerと呼ばれるAmazonS3へのデータ転送を最適化するソリューションを構築しました。対称的な重複排除、圧縮、およびその他の多くの手法を使用します。見て、あなたの考えを教えてください。フィードバックをお待ちしております。
Image Uploaderのバッチ アップロード コントロールを使用してみることができます。または、これが 1 回限りのタスクである場合は、Amazon のサンプルを使用することを検討します。
とにかく、アップロードに PUT/POST リクエストを使用したい場合、リクエストごとに 1 つのファイル - Amazon の API 制限であり、何もする必要がないように思えます。