問題タブ [kafka-consumer-api]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

3702 問題

0 投票する

1 に答える

12881 参照

java - Kafka がコンシューマーのオフセットを突然リセットする

私は Kafka 0.8 と Zookeeper 3.3.5 を使用しています。実際、何の問題もなく消費しているトピックがたくさんあります。

最近、奇妙な動作をする新しいトピックをフィードして消費し始めました。消費されたオフセットが突然リセットされました。設定した auto.offset.reset ポリシー (実際には最小) を尊重しますが、トピックが突然オフセットをリセットする理由がわかりません。

私は高レベルのコンシューマーを使用しています。

ここに私が見つけたいくつかのエラーログがあります: 私たちはこのエラーログをたくさん持っています:

この問題が発生するたびに、WARN ログが表示されます。

そして、実際の問題が発生します。

ここでの質問: すでにこの動作を経験した人はいますか? auto.offset.reset が最大か最小かに関係なく、カフカがオフセットをリセットすることを決定したときに教えてくれる人はいますか?

ありがとうございました。

2015-03-26T11:09:35.207

0 投票する

1 に答える

388 参照

java - Apache kafka ハイレベルコンシューマー - 理解

HighLevel コンシューマーを実装するために Apache kafka を調べてきました (メッセージをいじりたくないので、単にデータを MongoDB に入れる必要があるだけです) v0.8.1.1

コンシューマーの実装方法に関する非常に詳細な情報を示す以下のリンクを見てきました。

Apache Kafka コンシューマー wiki 別のカフカコンシューマー

しかし、すべてのスレッドがシャットダウンされた後に Consumer がどのように再起動するかについては、まだわかりません。たとえば、実行中のコンシューマーの 4 つのスレッドがあり、それらが kafka ブローカーからのすべてのメッセージを消費したとしましょう。メッセージがなくなると、すべてのコンシューマーは何もせず、特定のタイムアウト後にシャットダウンされるため、コンシューマーが再びどのようになっているのかわかりませんkafka ブローカーに新しいメッセージがあると再起動します。

誰かがコードを共有したり、少なくともこれに関するいくつかの指針を共有したりできますか? また、while ループの代わりに、メッセージがあるときに呼び出されるコールバックメソッドにビジネスロジックを含める方法もあります。

java apache-kafka kafka-consumer-api

2015-03-31T19:33:30.590

0 投票する

1 に答える

198 参照