問題タブ [confluent-schema-registry]

Kafka Streams で Avro データをストリーミングしようとすると、次のエラーが発生しました。

Exception in thread "StreamThread-1" org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id -1 Caused by: org.apache.kafka.common.errors.SerializationException: Unknown magic byte!

メーリングリストでそれに関するいくつかの古いスレッドを見つけましたが、そこに記載されている解決策はどれも問題を解決しませんでした. うまくいけば、ここで解決策を見つけることができます。

私のセットアップは次のようになります。

KEY_SERDEをと同じに設定しようとしましたVALUE_SERDEが、これはメーリング リストで解決策として「マーク」されていましたが、私の場合はうまくいきませんでした。

GenericData.Record次のようにスキーマを使用し て生成しています。

デバッグ モードを開始して生成されたレコードを確認すると、すべて問題なく表示され、レコードにデータがあり、マッピングが正しいです。

KStream を次のようにストリーミングします (以前はブランチを使用していました)。

splitTopics.get(0).to(s"${destTopic}_Testing")

記録用に使用GenericData.Recordしています。これは との組み合わせで問題になる可能性がありGenericAvroSerdeますか?

スキーマ レジストリ (SR) (コンフルエント) を使用して、常に完全なスキーマを送信しないように、Kafka を介して何百万ものメッセージをプッシュする予定です。

アーキテクチャは、次の図に関連しています。

実際には、Producer がメッセージを送信したり、Consumer がメッセージを受信したりするたびに、SR を 1 回呼び出すことは避けたいと考えています。

そこでここでは、AvroSerializer と AvroDeserializer によって管理される「ローカル」キャッシュについてお話したいと思います。これを実装した貢献者は、この仕事をうまくやったはずだと思います。

しかし、関連する呼び出しが多いため、上記のスキーマで赤字で書いたものを確認したいだけです

この「ローカル」キャッシュを管理する機能が見つかりませんでした。その内容、サイズを確認する方法を知っていますか...

どうもありがとう！

Confluent プラットフォーム経由で Kafka を実行しています。前述の手順に従いました java.net.BindException: Address already in use

ここのドキュメントに従って、https://docs.confluent.io/2.0.0/quickstart.html#quickstart

飼育係を開始し、

カフカを起動し、

次にschema-registryコマンドを実行すると、

私はエラーを観察しました、java.net.BindException: Address already in use

私はこれをすべてMacbookでローカルに実行しています。somoene でこのaddress already in useエラーを解決するのを手伝ってもらえますか?

コンソール ログ:

このエラーの解決にご協力ください。

ありがとう、

コマンドを実行すると、ps aux | grep schema-registry