apache-kafka - Kafka Stream StateStore はすべてのインスタンスでグローバルですか、それとも単にローカルですか?

Question

Kafka StreamWordCountの例では、StateStore単語数を格納するために使用されます。同じコンシューマグループに複数のインスタンスがある場合、StateStoreはグループに対してグローバルですか、それともコンシューマインスタンスに対してローカルですか?

タナクス

score 24 · Accepted Answer

これは、ステートストアのビューによって異なります。

Kafka Streams では状態が共有されるため、各インスタンスはアプリケーション全体の状態の一部を保持します。たとえば、DSL ステートフルオペレーターを使用して、ローカルの RocksDB インスタンスを使用して状態のシャードを保持します。したがって、この点に関して、状態はローカルです。
一方、状態へのすべての変更は Kafka トピックに書き込まれます。このトピックは、アプリケーションホストではなく、Kafka クラスターで "ライブ" であり、複数のパーティションで構成されており、レプリケートできます。エラーが発生した場合、この変更ログトピックは、実行中の別のインスタンスで失敗したインスタンスの状態を再作成するために使用されます。したがって、変更ログはすべてのアプリケーションインスタンスからアクセスできるため、グローバルであると見なすこともできます。

変更ログはアプリケーションの状態の真実であり、ローカルストアは基本的に状態のシャードのキャッシュであることに注意してください。

さらに、WordCount の例では、レコードストリーム (データストリーム) が単語ごとに分割され、1 つの単語のカウントが 1 つのインスタンスによって維持されます (そして、異なるインスタンスが異なる単語のカウントを維持します)。

3 に答える 3