問題タブ [confluent-platform]

Docker を使用せずに kafka と Zookeeper を実行していたとき、/tmp/kafka-logs ディレクトリにトピック パーティションのログ ファイルが表示されました。Docker では、docker-compose.yml の Volumes セクションでログ ディレクトリを指定しても、「TOPICNAME-PARTITIONNUMBER」のような Docker VM のファイルが表示されません。Docker VM でこれらのディレクトリを見つけることができる場所についてのアイデア..

プロデューサーによって Kafka トピックに発行されたメッセージの検証を行うためにインターセプターを追加しようとしています。Kafka トピックによって実行されるスキーマ検証に加えて、いくつかの検証を行う必要があります。私が従った手順は次のとおりです。

1. ProducerInterceptor インターフェイスを拡張する Java クラスを作成しました。
2. クラスをコンパイルし、クラスパスに含まれるフォルダーに配置されるjarファイルを作成しました。
3. Kafka インストール内の producer.properties に intercetors.classes= classname を追加しました。

しかし、トピックにメッセージを発行すると、作成したカスタム インターセプター クラスが呼び出されません。（エラーも発生していません。メッセージはトピックに完全に公開されています）。

https://cwiki.apache.org/confluence/display/KAFKA/KIP-42%3A+Add+Producer+and+Consumer+Interceptorsを参照しました

これについてアドバイスをください。

Confluent ( http://www.confluent.io/product/kafka-streams/ )からダウンロードした kafka ストリームを使用しています。

Windows で Zookeeper と Kafka を実行する手順に従っています。しかし、コマンドを使用して ZooKeeper を起動しようとすると D:\Softwares\confluent-3.0.1\bin\windows>zookeeper-server-start.bat ./etc/kafka/zookeeper.properties、エラーが発生します

D:\Softwares\confluent-3.0.1\bin\windows../../etc/kafka/log4j.properties は現時点では予想外でした。

「zookeeper-server-start.bat」ファイルを確認すると、コマンドは問題ないように見え、以下のようになっています。ディレクトリ confluent-3.0.1\etc\kafka の下に log4j.properties ファイルも存在します。

Kafkaプロセスのさまざまなヒープ、GC などの Java パラメータの設定に関しては、相反する考え方があるようです。

kafka-server-startあるグループは、 bash ファイルを編集するように言っています

• ここ

別のグループは、システム var を設定し、kafka スタートアップにそれを取得させるように言っています

• ここ

Confluent からの最新の指示では、次の「推奨事項」が表示されます。

これらをどこに設定するかについての公式の Confluent パーティラインは何ですか? (デフォルトでは、小さいテスト マシンに対応するためにこれらを使用しないと思います)

次のコードを使用しています (実際にはそうではありませんが、仮定しましょう) スキーマを作成し、プロデューサーによって kafka に送信します。

問題は、コードにより、このスキーマで 1 つのメッセージしか送信できないことです。次に、次のメッセージを送信するためにスキーマ名を変更する必要があります...そのため、名前文字列は現在ランダムに生成されているため、さらにメッセージを送信できます。これはハックなので、これを行う適切な方法を知りたいです。

また、スキーマなしでメッセージを送信する方法も調べました (つまり、スキーマを含む 1 つのメッセージを既に kafka に送信したので、他のすべてのメッセージはもうスキーマを必要としません) - ただしnew GenericData.Record(..)、スキーマ パラメーターが必要です。null の場合、エラーがスローされます。

では、avro スキーマ メッセージを kafka に送信する正しい方法は何ですか?

これは別のコードサンプルです - 私のものとかなり同じです
: /confluent/examples/producer/ProducerExample.java

また、スキーマを設定せずに送信する方法も示していません。

私のトピックにオブジェクトをシリアルKafkaProducer化するために使用できます。KafkaAvroSerializerただし、シリアル化されたクラスではなく、KafkaConsumer.poll()逆シリアル化されたものが返されます。GenericRecord

MyKafkaProducer

私のカフカ消費者

MyBean bean = record.value();その行は、GenericRecord を MyBean にキャストできないため、キャスト例外をスローします。

を使用してkafka-client-0.9.0.1いkafka-avro-serializer-3.0.0ます。

ソース コネクタで登録済みのスキーマを取得することはできますか? スキーマ レジストリに登録されている静的スキーマがあり、そのスキーマをコネクタから取得して SourceRecord に渡す必要があります。

schema id を使用してスキーマを取得するために CachedSchemaRegistryClient を使用しましたが、Avro スキーマが返されました。したがって、これを org.apache.kafka.connect.data.Schema に変換する必要があります。これに関するいくつかの指針を提供してください。

または、 CachedSchemaRegistryClient を使用せずに直接同じことができるコネクタの他の方法はありますか?

ありがとう、スリージット

Windows で Confluent 3.0.1 プラットフォームを使用しています。インストール ガイドと開発者ガイドに従って、すべてのインストールを行い、トポロジを開発しました。

Zookeeper、次に Kafka サーバーを開始し、トポロジーを実行しようとしました。しかし、Kafkaサーバーでエラーを下回っています。トピックを手動で作成してトポロジを実行しても、同じエラーが表示されます。

そして、私のトポロジコードは以下の通りです:

以下は、別のJavaソースファイルの一部である私が使用しているプロパティです。