同じデータがそれぞれのキューに向かう途中で異なる変換を経た後、Spring Integration を使用して、1 つのチャネルから 2 つの異なる Kafka キューにデータを送信しようとしています。問題は、プロデューサー コンテキストが重複しているようで、その理由がわかりません。

ここに私のフロー構成があります:

例外は次のとおりです。

オブジェクト [org.springframework.integration.kafka.support.KafkaProducerContext@3163987e] を Bean 名 'not_specified' で登録できませんでした: 既にオブジェクト [org.springframework.integration.kafka.support.KafkaProducerContext@15f193b8] がバインドされています

kafkaConfigさまざまなオブジェクトを使用してみましたが、役に立ちませんでした。一方、ProducerMetadata最初のパラメーターが から まで異なることからわかるように、インスタンスは異なりますaddProducer。これらは、他のメタデータの中でそれぞれの宛先キューの名前を提供します。

互いに競合するいくつかの暗黙的な Bean 定義が作成されているようです。

この例外を 2 つの s で解決するにはどうすればよいKafkaProducerContextですか?

kafka でパフォーマンス テストを実行する必要があります。

ここで説明されているガイドラインを使用しています: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

次のようなコマンドを使用します: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196

私はそれを理解しています：

トピック名: test7

num_records: 50000000

レコードサイズ: 100

server_address: bootstrap.servers=localhost:9092 buffer.memory=67108864

しかし、私は次の意味を理解していません：

-1

ACK=1

buffer.memory=67108864

バッチ.サイズ=8196

彼らが何を意味するのかを明確に理解している人はいますか？または、このツールのドキュメントを知っていますか?

ありがとう

Kafka プロデューサーおよびコンシューマー (0.9.0) スクリプトを使用してトピックからメッセージをプッシュ/プルしようとすると、以下のエラーが発生します。

プロデューサー エラー

消費者エラー

エラーが発生する理由と解決方法を教えてください。

構成

Mac 上の Docker コンテナーですべてのコンポーネントを実行します。ZooKeeper と Kafka は個別の Docker コンテナーで実行されます。

Docker マシン (boot2docker) IP アドレス: 192.168.99.100 ZooKeeper ポート: 2181 Kafka ポート:9092

Kafka 構成ファイルserver.propertiesは以下を設定します。

コマンド

kafka サーバーの Docker コンテナー内から次のコマンドを実行します。パーティションが 1 つ、レプリケーション係数が 1 のトピックを既に作成しています。

リーダー指定が 0であることに注意してください。これは問題の一部である可能性があります。

次に、次のようにしてメッセージを送信します。

これは、上記で投稿した消費者エラーを生成するメッセージを消費しようとするために使用しているコマンドです。

ポートを確認2181し9092、Kafka Docker コンテナー内から開いてアクセスできることを確認しました。

この sqoop コマンドは REST サービスから生成されており、kafka コンシューマーにこの sqoop コマンドを使用させたいと考えています。

私はカフカが初めてで、これについて助けが必要です。

プロデューサー構成のドキュメントに従って、Apache Kafka の 0.9.0.0 バージョンを参照します。

http://kafka.apache.org/documentation.html#producerconfigs

ブローカーのリストを指定するには、次のプロパティを使用する必要があります。

これが私のプロデューサークラスです：

ここに私の依存関係があります:

ご覧のとおり、Apache Kafka のバージョン 0.9.0.0 を使用しています。Producer クラスを実行しようとすると、次のエラーが発生します。

どうしてこれなの？jar ファイルの内容を確認したところ、バージョン 0.9.0.0 の Apache Kafka が使用されていました。(kafka_2.11-0.9.0.0.jar)

アプリケーションは 1 つの Kafka トピックからメッセージを読み取り、MongoDB に保存していくつかの検証を行った後、別のトピックに書き込みます。ここで、アプリケーションが無限ループに陥るなどの問題に直面しています。私が持っているコードは以下です：

上記のコードでKAFKA_RESPONSE_BOLTは、トピックにデータを書き込んでいます。 次のようなデータを発行することでabc1_DEVICE_BOLTこれを供給しています：KAFKA_RESPONSE_BOLT