問題タブ [kafka-producer-api]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
spring - パブリッシュ/サブスクライブ チャネルの両方が Kafka に接続されると、KafkaProducerContext が重複する
同じデータがそれぞれのキューに向かう途中で異なる変換を経た後、Spring Integration を使用して、1 つのチャネルから 2 つの異なる Kafka キューにデータを送信しようとしています。問題は、プロデューサー コンテキストが重複しているようで、その理由がわかりません。
ここに私のフロー構成があります:
例外は次のとおりです。
オブジェクト [org.springframework.integration.kafka.support.KafkaProducerContext@3163987e] を Bean 名 'not_specified' で登録できませんでした: 既にオブジェクト [org.springframework.integration.kafka.support.KafkaProducerContext@15f193b8] がバインドされています
kafkaConfig
さまざまなオブジェクトを使用してみましたが、役に立ちませんでした。一方、ProducerMetadata
最初のパラメーターが から まで異なることからわかるように、インスタンスは異なりますaddProducer
。これらは、他のメタデータの中でそれぞれの宛先キューの名前を提供します。
互いに競合するいくつかの暗黙的な Bean 定義が作成されているようです。
この例外を 2 つの s で解決するにはどうすればよいKafkaProducerContext
ですか?
performance-testing - kafka パフォーマンス テストの引数の意味
kafka でパフォーマンス テストを実行する必要があります。
ここで説明されているガイドラインを使用しています: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
次のようなコマンドを使用します: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196
私はそれを理解しています:
トピック名: test7
num_records: 50000000
レコードサイズ: 100
server_address: bootstrap.servers=localhost:9092 buffer.memory=67108864
しかし、私は次の意味を理解していません:
-1
ACK=1
buffer.memory=67108864
バッチ.サイズ=8196
彼らが何を意味するのかを明確に理解している人はいますか?または、このツールのドキュメントを知っていますか?
ありがとう
apache-kafka - トピックのメタデータをフェッチするときに、Kafka コンシューマーが「リーダーを見つけられませんでした」
Kafka プロデューサーおよびコンシューマー (0.9.0) スクリプトを使用してトピックからメッセージをプッシュ/プルしようとすると、以下のエラーが発生します。
プロデューサー エラー
消費者エラー
エラーが発生する理由と解決方法を教えてください。
構成
Mac 上の Docker コンテナーですべてのコンポーネントを実行します。ZooKeeper と Kafka は個別の Docker コンテナーで実行されます。
Docker マシン (boot2docker) IP アドレス: 192.168.99.100
ZooKeeper ポート: 2181
Kafka ポート:9092
Kafka 構成ファイルserver.properties
は以下を設定します。
コマンド
kafka サーバーの Docker コンテナー内から次のコマンドを実行します。パーティションが 1 つ、レプリケーション係数が 1 のトピックを既に作成しています。
リーダー指定が 0であることに注意してください。これは問題の一部である可能性があります。
次に、次のようにしてメッセージを送信します。
これは、上記で投稿した消費者エラーを生成するメッセージを消費しようとするために使用しているコマンドです。
ポートを確認2181
し9092
、Kafka Docker コンテナー内から開いてアクセスできることを確認しました。
apache-kafka - sqoopコマンドを消費するためにkafkaコンシューマーを作成する方法は?
この sqoop コマンドは REST サービスから生成されており、kafka コンシューマーにこの sqoop コマンドを使用させたいと考えています。
私はカフカが初めてで、これについて助けが必要です。
apache-kafka - Apache Kafka プロデューサーの構成エラー
プロデューサー構成のドキュメントに従って、Apache Kafka の 0.9.0.0 バージョンを参照します。
http://kafka.apache.org/documentation.html#producerconfigs
ブローカーのリストを指定するには、次のプロパティを使用する必要があります。
これが私のプロデューサークラスです:
ここに私の依存関係があります:
ご覧のとおり、Apache Kafka のバージョン 0.9.0.0 を使用しています。Producer クラスを実行しようとすると、次のエラーが発生します。
どうしてこれなの?jar ファイルの内容を確認したところ、バージョン 0.9.0.0 の Apache Kafka が使用されていました。(kafka_2.11-0.9.0.0.jar)
apache-kafka - 発行されたタプルをkafkaトピックに書き込む方法
アプリケーションは 1 つの Kafka トピックからメッセージを読み取り、MongoDB に保存していくつかの検証を行った後、別のトピックに書き込みます。ここで、アプリケーションが無限ループに陥るなどの問題に直面しています。私が持っているコードは以下です:
上記のコードでKAFKA_RESPONSE_BOLT
は、トピックにデータを書き込んでいます。
次のようなデータを発行することでabc1_DEVICE_BOLT
これを供給しています:KAFKA_RESPONSE_BOLT