問題タブ [kafka-rest]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - REST プロキシを使用してトピックからメッセージを 1 つだけ読み取る
Rest Proxy (Docker コンテナー内) を介して Kafka バージョン 2.2.0cp2 を使用します。消費者が常に 1 つのメッセージだけを読む必要があります。
次のようmax.poll.records=1にファイルに値を設定しました。/etc/kafka/consumer.properties
consumer.max.poll.records=1
また：
max.poll.records=1
効果はありませんでした。
他の構成でこの値を設定しても、結果は得られませんでした。
apache-kafka - Python用のconfluent_kafkaを使用してトピックにスキーマIDを登録する
私がこれまでに得た唯一の答えは、スキーマとトピックに同じ名前を付ける必要があるということです。これにより、それらがリンクされるはずです。しかし、次のような名前でスキーマを登録した後test_topic:
次のコマンドを実行すると、問題なく挿入されます。
しかし、次のコマンドも実行すると、エラーが発生せずに挿入されます（注、プロパティ名を変更しました）
私のデータがこのトピックのスキーマと一致しないというエラー メッセージが表示されるのではないかと思いました...
私のスキーマ ID は 10 であるため、機能して登録されていることはわかっていますが、現時点ではあまり役に立ちません。
Python コード:
apache-kafka - Kafka Rest Api は、同じグループ内の 2 つ以上のコンシューマーでは機能しません
同じグループ ID を持つ 2 番目のコンシューマーを接続した後、エラーが発生する
「コンシューマ インスタンスが見つかりません」(コード: 40403)。
Kafka2 番目のコンシューマを接続すると、両方のコンシューマから新しいメッセージを受信するリクエストがフリーズすることに気付きました。リクエストがフリーズした後、消費者のタイムアウトが経過し、自動的に削除されるため、発生しているエラーは問題の結果であり、原因ではないと確信しています。ただし、リクエストがハングする理由がわかりません。
問題の時点で、Kafka'sキューは空です。
構成は次のように設定されています。
その他の値はデフォルトで設定されています。
これはコンシューマー スレッド ( ) の制限によるものだと思っていましたconsumer.threadsが、ドキュメントによると既定値は です50。