DynamoDB に 1 億 1000 万件のレコードを一括インポートしようとしています。
CFBatchRequest の使用:
$queue = new CFBatchRequest(800);
それに 800 個の put_item() を追加しても、1 秒あたり約 190 回の書き込みしか発生せず、奇妙なことに cURL エラーが頻繁に発生します。使用するインスタンスのサイズは問題ではないようです。そして、私は800以下またはそれ以上を試しました.
シングルトンの put_item() を実行すると、信じられないほど遅くなります。また、batch_write_item() には再試行機能がなく、さらに 25 個に制限されています。
EMR はバッチ処理をまったく使用していないことを読みました。ここで検索すると、問題を抱えている人が何人かいます。
これにアプローチするより良い方法はありますか？