apache-storm - Kafka スパウト 同じメッセージを複数回読む

Question

ストーム トポロジで Kafka スパウトの並列処理を増やした場合、トピック内の同じメッセージを複数回読み取るのをどのように停止できますか?

Answer 1

Storm の Kafka スパウトは、コンシューマー オフセットを Zookeeper に永続化するため、Zookeeper ストアをクリアしない限り、同じメッセージを複数回読み取ることはありません。メッセージが複数回読まれている場合は、オフセットが Zookeeper インスタンスに保持されていることを確認してください。

デフォルトでは、ローカルで実行している場合、Kafka スパウトは独自のローカル Zookeeper インスタンス (Kafka の Zookeeper とは別) を開始し、トポロジを再起動するたびに状態がリセットされる可能性があると思います。

Answer 2

メッセージが適切に承認されているかどうかを確認する必要があります。そうでない場合、スパウトはそれを失敗として扱い、メッセージを返信します。