問題タブ [confluent-schema-registry]

dstreamを受け取った後のkafkaとスキーマレジストリを使用したsparkストリーミングで、sparkでdstreamバッチをDataframeに変換するにはどうすればよいですか?

confluent から KafkaAvroDecoder を使用した後の Dstream の型は Dstream(String,Object) です。以下のコードを使用すると、avro 列で Int のようなスキーマ データ型が Long に変更されます。

コード参照

Object.toSting と json としての読み取りにより、int のスキーマが失われます。データフレーム列で型をキャストする代わりに他の方法はありますか?

メッセージペイロードとともに送信されるスキーマを使用して、node.js に Avro スキーマを実装しました。そして、それはうまく機能しています。Kafka-node モジュールで schema-registry を使用できる方法がないか探しています。私は調査しましたが、見つけることに成功しませんでした。

また、各メッセージでスキーマを送信すると、メッセージのサイズが大きくなりますか? スキーマ レジストリを使用する場合と比較して、パフォーマンスに影響はありますか?

これについての助けをいただければ幸いです。

以下のコマンドを使用してコネクタを起動しながら、Confluent Platform 3.3 を Kafka コネクタとして使用しています。

以下のエラーを取得する

Zookeeper は kafka クライアント 2181 ポートで実行されており、以下のコマンドでスキーマを開始しようとしました

しかし、エラー メッセージは表示されませんでしたが、ポート 8081 が起動しませんでした。これを整理するのを手伝ってください。

Kafka でスキーマ レジストリを使用している場合、レコードをブローカーに送信するたびに、すべてのプロデューサーが最新バージョンの Kafka を送信する必要がありますか?

はいの場合、すべてのavroファイルですでにスキーマを送信しているため、この余分なオーバーヘッドの意味は何ですか?

いいえの場合は、私の質問の愚かさを後悔し、スキーマレジストリをよりよく理解するのを手伝ってください。

別の 3 つの centOS マシンで kafka クラスターを作成しました。Zookeepers と kafka サーバーはすべて正常に動作しています。

スキーマ レジストリを実行しようとすると、ホスト Zookeeper がダウンしたため、スキーマ レジストリでエラー サーバーが予期せず停止したなどのエラーが発生しました。

zookeeper.connect参考までに、kafkaサーバー構成のようにカンマ区切りでkafkaストアURLを構成しました。しかし、運がありません。アイデアはありますか？

私はこのドキュメントに従いましたが、うまくいきました。ここで、spark からコネクタ データを使用しようとしました。私が使用できる参照はありますか？私はコンフルエントを使用しているため、元のカフカのリファレンス ドキュメントとは大きく異なります。

これまでに使用したコードです。問題は、レコード データを java.String に変換できないことです。（そして、それが消費する正しい方法であるかどうかはわかりません）