問題タブ [kafka-producer-api]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
2 に答える
3443 参照

apache-camel - エラーのため、/127.0.0.1 のソケットを閉じています (kafka.network.Processor)

私は apache camel と apache kafka を初めて使用し、プロジェクトの小さな POC を行っています。Camel-kafka コンポーネントを使用して kafka から読み取ろうとすると、次の問題のエラー ログが表示されます。

私のJavaコードは次のとおりです。

}

kafka プロデューサー コンソール ツールから txt をいくつか入れて、kafka のキャメル コンポーネントを使用して読み取ろうとしました。

0 投票する
1 に答える
546 参照

c - Cでバイナリ構造をkafkaに送信

複雑な C 構造をカフカにダンプする必要があるカフカに基づくメッセージ システムを作成しています。まず、単純な構造を作成して送信することで、単純なことをしようとしています。

プロデューサーで:

コンシューマーでも同じ構造を定義しますが、次を使用します。

しかし、それはゴミを印刷します。

i、jは1、1でした

% メッセージ (オフセット 0、8 バイト):

メッセージ ペイロード hexdump (8 バイト):

00000000: 01 00 00 00 01 00 00 00

構造体 p: -469758844 32530


i,j は 256,256 でした

% メッセージ (オフセット 1、8 バイト):

メッセージ ペイロード hexdump (8 バイト):

00000000: 80 00 00 00 80 00 00 00

構造体 p: -469758810 32530


i、j は 4294967295(最大整数)、4294967295(最大整数)

% メッセージ (オフセット 2、8 バイト):

メッセージ ペイロード hexdump (8 バイト):

00000000: ff ff ff ff ff ff ff

構造体 p: -469758776 32530


i,j は 0,0 でした

% メッセージ (オフセット 3、8 バイト):

メッセージ ペイロード hexdump (8 バイト):

00000000: 00 00 00 00 00 00 00 00

構造体 p: -469758742 32530


どうすれば構造を正しくダンプして取得できますか? データをシリアル化する可​​能性があることはわかっていますが、将来的には、より複雑な不透明な構造を送信する必要があります。さらに、シリアル化することで、より多くのメモリを使用する可能性があります。

ありがとう

0 投票する
1 に答える
2166 参照

scala - キー付きおよびキーなしの両方の ProducerRecords の KafkaProducer

Scala で 0.9 Kafka Java クライアントを使用しています。

ProducerRecordキーやパーティションを含めたり含めなかったりできるコンストラクタがいくつかあります。

問題ないはずです。

ただし、キーなしProducerRecordでは型エラーが発生します。

これは Kafka の規則に違反しているのでしょうか、それとも、Scala でこの Java API を使用することによる不必要な予防措置でしょうか?

より基本的には、キー付きメッセージとキーなしメッセージを同じ Kafka トピックに入れるのは不適切な形式ですか?

ありがとうございました

Javadoc: http://kafka.apache.org/090/javadoc/org/apache/kafka/clients/producer/package-summary.html


編集

パラメータの分散を変更すると、これKKafkaProducer修正できますか?

0 投票する
1 に答える
3053 参照

java - kafka-connect エラー: メイン クラスが見つからないか読み込めません

ファイルからデータを読み取るために公式ドキュメントに従って実装しています。kakf-connect

私はカフカを完全に実行しています。メッセージを送受信するプロデューサーとコンシューマー。

ただし、次のコマンドを実行すると:

次のエラーが表示されます。

エラー: メイン クラス org.apache.kafka.connect.cli.ConnectStandalone が見つからないか、読み込めませんでした

チェックを入れたところ、ファイルConnectStandalone hereがありますconnect/runtime/src/main/java/org/apache/kafka/connect/cli/ConnectStandalone

私のconnect-file-source.propertiesは次のとおりです。

何か足りないものはありますか?このエラーを取り除くにはどうすればよいですか?

0 投票する
1 に答える
1497 参照

apache-kafka - カフカで生産をアトミックにバッチ処理する方法はありますか?

メッセージのバッチを取得するソースがあります。これらのメッセージは確実に Kafka に追加する必要があります。

aync プロデューサーを使用すると、多くのメッセージを送信するときに、パーティションがしばらくダウンしていないかどうか疑問に思います。そのメッセージをスキップして次のメッセージを送信するだけで、メッセージの順序が正しくありません。

Kafka に指示できる方法はありますか?一連のメッセージをバッチで生成し、アトミックにすべてを渡すか、すべてを失敗させるか?

*スループットに深刻な影響を与えるため、同期プロデュースは実行したくありません。

0 投票する
2 に答える
2245 参照

apache-kafka - Kafka Async Producer で障害が発生した場合、順序はどのように保証されますか?

Kafka Async プロデューサーを使用している場合、バッファーに X 個のメッセージがあると仮定します。それらがクライアントで実際に処理され、ブローカーまたは特定のパーティションがしばらくダウンしている場合、kafka クライアントは再試行し、メッセージが失敗した場合、特定のメッセージを失敗としてマークし、次のメッセージに移動します (これは可能性があります)。順不同のメッセージにつながる)?または、順序を維持するために、バッチ内の残りのメッセージは失敗しますか?

次に順序を維持するので、理想的には、失敗した場所からバッチを失敗させて、失敗したポイントから再試行できるようにしたいのですが、どうすればそれを達成できますか?