大きなバッチの処理を分散したい。アイデアは、Spring Batch を使用してクラウド内の一連の AMQP コンシューマーを起動し、安価なタスク (アイテム ID など) をロードして AMQP 交換に送信することです。結果の書き込みは、消費者自身によって行われます。
これを達成するための既製のライブラリはありますか?
いくつかの考え：
- Spring Batch は完全に交渉可能です。
- バッチサイズは数百万です。これらすべての ID を一度に総当たりで送信してメッセージ ブローカーを強制終了したくはありませんが、代わりになんらかのスロットリングを使用します。
- プロセスを監視できるように、どのアイテムが処理されたかを知りたいです。したがって、バッチ制御プロセスは、消費者からの応答を受信する必要があります。