問題タブ [confluent-platform]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

2108 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
2 に答える
7643 参照

elasticsearch - Kafka-Connect: 分散モードで新しいコネクタを作成すると、新しいグループが作成されます

現在、confluent 3.0.1 プラットフォームで作業しています。2 つの異なるワーカーで 2 つのコネクタを作成しようとしていますが、新しいコネクタを作成しようとすると、新しいグループが作成されます。

しかし、それらは両方とも異なるグループ ID で作成されました。この後、既存のグループを照会しました。

これらのグループは Kafka connect によって自動的に作成されたもので、私が提供したものではありません。worker.properties で別の group.id を指定しました。しかし、メッセージを共有するために両方のコネクタが並行して機能するように、両方のコネクタを同じグループに配置したいと考えていました。

これを行う方法を教えてください。

0 投票する
2 に答える
1679 参照

python - コンフルエントなカフカの単純なプロデューサー/コンシューマーの例でメッセージを受信しませんか?

を使用する（マスターブランチ）pythonバインディングで実行kafka_2.11-0.10.1.1します。私のマシンは ubuntu-16.04 x86_64 を実行しています。ポートで実行します。次のように合流プロデューサーの例を実行します。confluent-kafka-0.9.2librdkafka-0.9.2zookeeper-3.4.8-12181

そして消費者：

ファイアウォールを実行していない私のマシンでは、すべてがローカルで実行されます。

備考:

  • Zookeeper でトピックが正常に作成されました
  • ブローカーはプロデューサー メッセージを正常に受信します。
  • conf に続く消費者セット{'bootstrap.servers': broker, 'group.id': group, 'session.timeout.ms': 6000, 'default.topic.config': {'auto.offset.reset': 'smallest'}, 'api.version.request': True }
  • 私がプロデューサー側に着くまで、最初producer/consumerはしばらくの間うまくいきました。Receive failed: Disconnected抜粋:

問題: しばらくすると消費者側で何も得られません

質問:

  1. 私は何を間違っていますか？
  2. プロデューサ メッセージがブローカ側で受信されたことを確認するにはどうすればよいですか? プロデューサ メッセージは、ブローカ側で適切に受信されます。
  3. コンシューマー側をデバッグするにはどうすればよいですか? 'debug': "cgrp, topic, fetch"コンシューマーconf に追加しました。ログはどこで読めますか?

12345678910