s3cmd CLI を使用して32GBのファイルを S3 バケットにアップロードしようとしています。マルチパートアップロードを行っており、しばしば失敗します。私はこれを、1000 mbps の帯域幅を持つサーバーから実行しています。しかし、アップロードはまだ非常に遅いです。これをスピードアップするためにできることはありますか？
一方、ファイルは私が言及したサーバーの HDFS にあります。Amazon Elastic Map Reduce ジョブを参照して、この HDFS から取得する方法はありますか? それはまだアップロードですが、ジョブも実行されています。したがって、全体的なプロセスははるかに高速です。