問題タブ [librdkafka]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
161 参照

apache-kafka - 自動コミットによる KafkaConsumer CPP API assign()

assign を使用してパーティションを指定する CPP Kafka コンシューマがあります。assign() を使用してパーティションを割り当て、subscribe() を使用しないので、問題ありません。このため、私の再調整は行われませんが、これも問題ありません。

質問 1: 自動コミットがここでどのように機能するかを理解したいです。同じ groupId を持つ 2 つのコンシューマがあるとします。どちらもすべての更新を取得しますが、ここでコミットがどのように行われるかを理解するのを手伝ってもらえますか? コンシューマーが 1 つしかない場合、コミットはコンシューマー グループ ID を使用して行われます。しかし、それは 2 人の消費者とどのように機能しますか。これらの場合、コミットの失敗も見られません。

質問 2: パーティションを割り当てると、rd_kafka_offsets_store はどのように機能しますか。これらはうまくいきますか、それともこれらの場合にサブスクライブを利用する必要がありますか?

0 投票する
1 に答える
288 参照

c++ - メッセージの受信に時間がかかる Kafka C++ クライアント

librdkafka のラッパーであるcppkafka ライブラリを使用しており、非常に単純なメッセージ ストリーミング タスク用の C++ Kafka クライアントを使用しています。メッセージを受信するのにかなり時間がかかるため、私の消費者クラスはおかしな動作をしています。より正確には、受信実行可能ファイルが実行され、実行が継続されるたびに、コンシューマーはメッセージの最初のバッチを正しく受信できますが、後続のメッセージが到着するまでに約 15 秒かかります。どのような可能性がこのようなものにつながる可能性があるか(カフカ構成、ライブラリ固有の問題、または私の愚かな障害)を誰でも理解していますか? 百万の感謝。

私の受信スレッドは次のとおりです