1

Java 分散型クローラー (クロールされたドキュメントを S3 に保存する) のプロファイリングを行っていますが、S3 挿入は間違いなくボトルネックです。実際、スレッド数が十分に多い場合、S3 がデータを読み取るのに時間がかかりすぎるため、スレッドは S3 から一貫してタイムアウト例外を受け取ります。putObjectこれをより効率的に行うことができる Amazon または別のライブラリによって提供される一括機能はありますか?

コード例:

BUCKET = ...; // S3 bucket definition
AmazonS3 client= ...;

InputStream is = ...; // convert the data into input stream
ObjectMetadata meta = ...; // get metadata
String key = ...;

client.putObject(new PutObjectRequest(BUCKET, key, is, meta));
4

1 に答える 1