Java 分散型クローラー (クロールされたドキュメントを S3 に保存する) のプロファイリングを行っていますが、S3 挿入は間違いなくボトルネックです。実際、スレッド数が十分に多い場合、S3 がデータを読み取るのに時間がかかりすぎるため、スレッドは S3 から一貫してタイムアウト例外を受け取ります。putObject
これをより効率的に行うことができる Amazon または別のライブラリによって提供される一括機能はありますか?
コード例:
BUCKET = ...; // S3 bucket definition
AmazonS3 client= ...;
InputStream is = ...; // convert the data into input stream
ObjectMetadata meta = ...; // get metadata
String key = ...;
client.putObject(new PutObjectRequest(BUCKET, key, is, meta));