aws-sdk-go - S3 アップロードのディスク I/O と CPU 使用率が高い

Question

非常にシンプルなgo s3 uploaderを介して 100Gb の小さなファイル (PNG 画像) を S3 バケットにアップロードしようとしたときに、CPU と I/O の使用率が高くなりました。

CPU と I/O の使用量を減らすために、帯域幅を制限する方法 (つまり、aws-sdk-go config を介して) や、アップロードのプロセスの集中力や効率を低下させる方法はありますか :)。

私は素敵な CPU と IO を試しましたが、実際には役に立ちません。

Answer 1

S3Manager、https: //docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/ を試しましたか? ドキュメントから：

パッケージ s3manager は、S3 からオブジェクトを同時にアップロードおよびダウンロードするためのユーティリティを提供します。大きなオブジェクトを扱う場合に役立ちます。