問題タブ [kafka-producer-api]

3 つの kafka ノードと 3 つの zk ノードを持つ kakfa クラスターがあります。

プロデューサーは AWS マシン上にあり、イントラネット サーバーで実行されている kafka クラスターにデータをプッシュしようとしています。

トピック (JOB_AWS_14) がコンソールから作成された場合

それは正常に動作します。

しかし、トピック（JOB_AWS_8）が作成された場所

動作していません。

どの設定が間違っていて、どのように修正するか。

私を助けてください。

私はカフカが初めてです!!

Apache Kafka のブローカーからトピックを除外することは可能ですか?? どのように？

トピックのプロデューサーを実行するには、次のコマンドを実行します。

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic

このコマンドにはブローカーのオプションがありません。とにかく、コマンドラインまたは Java API のいずれかでブローカーを除外できますか??

また、Kafka 用の Java API のドキュメントはありますか? チュートリアルはありますか??

前もって感謝します ：）

Kerberos で保護された Kafka トピックにログを書き込む必要があります。

log4j 1.2.17 と Kafka 08.2.2 を使用しています。

KafkaLog4jAppender でサポートされている唯一のオプションは次のとおりです。

次のようなJAASオプションを設定することはできません

JAAS の詳細を受け入れるカスタム KafkaLog4jAppender を開発する必要がありますか、または KafkaLog4jAppender を使用してセキュリティで保護された kafka トピックにログを書き込む方法はありますか?

Kafka の標準入力ではなく、(統計をチェックするために) ループでデータ ファイルを読み込もうとしています。Kafka をダウンロードした後、次の手順を実行しました。

飼育係を開始しました:

起動したサーバー:

「test」という名前のトピックを作成しました:

プロデューサーを実行しました:

消費者が聞いた:

標準入力の代わりに、コンシューマーが直接見ることができるデータ ファイルをプロデューサーに渡したいと考えています。または、コンソール コンシューマーの代わりに、データ ファイルを読み取ることができるカフカ プロデューサーがありますか。どんな助けでも本当に感謝します。ありがとう！

完全にクロールできるデータのストリームを取得します。データはすべて Kafka に入れられ、その後 Cassandra に送信されます。現在、kafka コンシューマーは非常に遅く、プロデューサーよりもはるかに遅いです。私はそれらがまったく同じであることを望みます。この結果を得るにはどうすればよいですか、またはコードの何が問題なのですか?

Python での私の Kafka コンシューマー コードは次のとおりです。

編集：

プロファイル結果も追加しましたが、コードの遅い行は次のようです

お返事ありがとうございます。

私は Kafka の初心者です。プロデューサーから数日後に、パーティション 1 、リフレクション ファクト -1 および ISR -1 を使用して (自動的に) いくつかのトピックが作成されます。それは正常に機能し、以前はすべてのトピック メッセージを正常に消費していました。

今日、つまり2日後、プロデューサーとコンシューマープログラムを実行しましたが、その逆も同様でしたが、コンシューマーはトピックからメッセージを消費/読み取ることができませんでした。すべてのログを確認しましたが、何が問題なのかわかりませんでした。

何がうまくいかないのですか？トピックはしばらくすると古くなりますか? kafka-server properties でチェックする必要があるプロパティ値はありますか?

私を助けてください。

ありがとうございました。〜シャム