問題タブ [kafka-topic]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - 特定のグループ ID が kafka トピックをリッスンしているかどうかを確認するにはどうすればよいですか?
特定のグループ ID が現在 kafka トピックをリッスンしているかどうかを確認したり、残りの API で特定のトピックをリッスンしているグループ ID の量を確認したりするにはどうすればよいですか?
apache-kafka - Kafka-Manager が非アクティブなコンシューマー グループと正しくないラグを表示する
1 zk各ホスティングとそれぞれに、3 つの個別の物理ノードの Kafka クラスターがあり1 brokerます。Kafka 0.10.1.1 を使用しています。トピックは ZK アンサンブルで作成され、ブローカーは ZK アンサンブルに接続します。私のProducerとConsumerは、Spring Boot アプリです (バージョン 1.5.13 RELEASE)。単一パーティション (つまり - Partition 0)min.insync.replicas=2とreplication_factor=3. これまでのところ、--describeトピックを確認すると、すべてのレプリカが同期されていることがわかります。コンシューマー グループを登録すると、コンシューマー グループがアクティブな場合にのみ、CLI と Kafka-Manager で表示されることがわかりました。ここまでは大丈夫です。
監視zk:2181のために個別のクラスターとして個別に追加しました。Kafka-managerがアクティブでない場合でもconsumer groups、いくつかのクラスター (つまり飼育係) に異なるラグ値で表示されています。特定のトピックのラグが表示されるノードは、同じトピックのリーダーでもありません。CLI を使用してクロスチェックすると、コンシューマ グループは を除いて表示されませんKMOffsetCache-<<instance-name>>。kafka-consumer-groups.sh --bootstrap-server ...
zk(s) または consumer_offsets が正しく同期されていないようです。理由を知りたいのですが？同じことを修正する方法は？
apache-kafka - リスト トピックの実行時に ksql で topic.registered とは
kafka-connect を使用して、mysql テーブルから kafka トピックに行をストリーミングしています。
これを ksql-client で実行すると、次のようになります。
次のようなトピックのリストを取得します。
の意味を知りたいのですが、Registeredkafka-connect を介して作成されたすべてのトピックで常に false のようです。
ドキュメントにはまだ何も見つかりませんでした。Registeredまた、このトピックから STREAM を作成するとすぐに が になることにも気付きましたtrue。
apache-kafka - retention.ms の設定時に Kafka がデータを削除しない
トピック内のメッセージをカウントする方法を探すとき、これは良い方法です
kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1
唯一のことは、構成を に変更し、retention.ms実行retention.ms=1000してトピックが構成されていることを確認することkafka-topics --describe --zookeeper zookeeper1:2181 --topic rev-dly-updです。その設定が1000に設定されていることがはっきりとわかります...
それでも、 kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1すべてを実行すると、常にレコードが返されます。理由は何ですか？