要件は次のとおりです。複数のサービスがデータ ストリーム (1 リクエストあたり 1 ～ 10 メガバイト) を含む多数のリクエストを生成し、複数のコンシューマーがこれらのリクエストをアトミックに処理します。
そのため、リクエスト データを分割することはできません。重要な要件は、一部のコンシューマーがリクエストの処理に失敗した場合、このリクエストをキューに再注入し、別のコンシューマーに送信する必要があることです。1 つのリクエストの処理には数十分かかる場合があります。コンシューマーは処理中に「死ぬ」可能性があるため、何らかのタスク監視が必要です。
ここまで考察した
- http://kafka.apache.org/
- http://storm-project.net/
- http://activemq.apache.org/
- http://activemq.apache.org/apollo/
しかし、どちらも私の要件を満たしていないようです。助言がありますか？