クライアントからイベントを受信し、これらのイベントの一部が論理的に関連している (単一のセッションに属している) ユース ケースがあり、タイムスタンプに基づいてイベント間に明確な順序があります。
ここで、特定のグループの最後のイベントがタイムスタンプの昇順で受信されるまでイベントを集計し続けるソリューションを構築したいと考えています。そのため、順序どおりでないイベントが受信された場合は、それらの前のイベントが受信されるまで保留する必要があります。次に、その特定のグループのキーに基づいて、HBase などのデータ ストアに格納します。
問題は、そのような不完全なグループの数が一度に数百万になる可能性があることです。不完全なグループへの高速な追加と、受信したイベントを順序付けされていない状態で保持できるものが必要になります。これについてどうすればよいですか？