問題タブ [kafka-producer-api]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
251 参照

spring - パブリッシュ/サブスクライブ チャネルの両方が Kafka に接続されると、KafkaProducerContext が重複する

同じデータがそれぞれのキューに向かう途中で異なる変換を経た後、Spring Integration を使用して、1 つのチャネルから 2 つの異なる Kafka キューにデータを送信しようとしています。問題は、プロデューサー コンテキストが重複しているようで、その理由がわかりません。

ここに私のフロー構成があります:

例外は次のとおりです。

オブジェクト [org.springframework.integration.kafka.support.KafkaProducerContext@3163987e] を Bean 名 'not_specified' で登録できませんでした: 既にオブジェクト [org.springframework.integration.kafka.support.KafkaProducerContext@15f193b8] がバインドされています

kafkaConfigさまざまなオブジェクトを使用してみましたが、役に立ちませんでした。一方、ProducerMetadata最初のパラメーターが から まで異なることからわかるように、インスタンスは異なりますaddProducer。これらは、他のメタデータの中でそれぞれの宛先キューの名前を提供します。

互いに競合するいくつかの暗黙的な Bean 定義が作成されているようです。

この例外を 2 つの s で解決するにはどうすればよいKafkaProducerContextですか?

0 投票する
1 に答える
1580 参照

performance-testing - kafka パフォーマンス テストの引数の意味

kafka でパフォーマンス テストを実行する必要があります。

ここで説明されているガイドラインを使用しています: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

次のようなコマンドを使用します: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196

私はそれを理解しています:

トピック名: test7

num_records: 50000000

レコードサイズ: 100

server_address: bootstrap.servers=localhost:9092 buffer.memory=67108864

しかし、私は次の意味を理解していません:

-1

ACK=1

buffer.memory=67108864

バッチ.サイズ=8196

彼らが何を意味するのかを明確に理解している人はいますか?または、このツールのドキュメントを知っていますか?

ありがとう

0 投票する
1 に答える
11099 参照

apache-kafka - トピックのメタデータをフェッチするときに、Kafka コンシューマーが「リーダーを見つけられませんでした」

Kafka プロデューサーおよびコンシューマー (0.9.0) スクリプトを使用してトピックからメッセージをプッシュ/プルしようとすると、以下のエラーが発生します。

プロデューサー エラー

消費者エラー

エラーが発生する理由と解決方法を教えてください。

構成

Mac 上の Docker コンテナーですべてのコンポーネントを実行します。ZooKeeper と Kafka は個別の Docker コンテナーで実行されます。

Docker マシン (boot2docker) IP アドレス: 192.168.99.100 ZooKeeper ポート: 2181 Kafka ポート:9092

Kafka 構成ファイルserver.propertiesは以下を設定します。

コマンド

kafka サーバーの Docker コンテナー内から次のコマンドを実行します。パーティションが 1 つ、レプリケーション係数が 1 のトピックを既に作成しています。

リーダー指定が 0であることに注意してください。これは問題の一部である可能性があります。

次に、次のようにしてメッセージを送信します。

これは、上記で投稿した消費者エラーを生成するメッセージを消費しようとするために使用しているコマンドです。

ポートを確認21819092、Kafka Docker コンテナー内から開いてアクセスできることを確認しました。

0 投票する
0 に答える
116 参照

apache-kafka - sqoopコマンドを消費するためにkafkaコンシューマーを作成する方法は?

この sqoop コマンドは REST サービスから生成されており、kafka コンシューマーにこの sqoop コマンドを使用させたいと考えています。

私はカフカが初めてで、これについて助けが必要です。

0 投票する
1 に答える
1055 参照

apache-kafka - Apache Kafka プロデューサーの構成エラー

プロデューサー構成のドキュメントに従って、Apache Kafka の 0.9.0.0 バージョンを参照します。

http://kafka.apache.org/documentation.html#producerconfigs

ブローカーのリストを指定するには、次のプロパティを使用する必要があります。

これが私のプロデューサークラスです:

ここに私の依存関係があります:

ご覧のとおり、Apache Kafka のバージョン 0.9.0.0 を使用しています。Producer クラスを実行しようとすると、次のエラーが発生します。

どうしてこれなの?jar ファイルの内容を確認したところ、バージョン 0.9.0.0 の Apache Kafka が使用されていました。(kafka_2.11-0.9.0.0.jar)

0 投票する
1 に答える
1664 参照

apache-kafka - 発行されたタプルをkafkaトピックに書き込む方法

アプリケーションは 1 つの Kafka トピックからメッセージを読み取り、MongoDB に保存していくつかの検証を行った後、別のトピックに書き込みます。ここで、アプリケーションが無限ループに陥るなどの問題に直面しています。私が持っているコードは以下です:

上記のコードでKAFKA_RESPONSE_BOLTは、トピックにデータを書き込んでいます。 次のようなデータを発行することでabc1_DEVICE_BOLTこれを供給しています:KAFKA_RESPONSE_BOLT