問題タブ [confluent-platform]

Can AVRO schemas be registered with confluent schema registry service ?

As per readme on github https://github.com/confluentinc/schema-registry

Every example uses a JSON schema with a single field and type without any name.

I am trying to store following schema to repository but with different variants getting different error.

Or

コミュニティ、私のメッセージの約 3%HDFSが. JAVA1000 万のメッセージを生成する単純なプロデューサーを作成しました。

そして、スタンドアロン モードで を使用してConfluent HDFS Connectorにデータを書き込みますHDFS。構成は次のとおりです。

コネクタはデータを HDFS に書き込みますが、20000 ミリ秒待機した後 (原因によりrotate.interval.ms)、一部のメッセージが受信されません。

この動作の理由は何ですか？私の間違いはどこですか？Confluent 3.0.1/Kafka 10.0.0.1を使用しています。

これと同じことをしようとして、コンフルエントを使用してカフカからハイブにデータをインポートしています:時間に基づくバケットレコード(kafka-hdfs-connector)

私のシンク設定は次のようなものです:

データが既にハイブにあるかどうかを確認するために「select * from yang」を使用している場合を除いて、データが hdfs にあり、テーブルがハイブに作成されていることがわかります。

エラーが出力されます：

失敗: SemanticException hdfs://master:8020/tmp/yangfeiran/peoplet_people_1000 が暗号化されているかどうかを判断できません: java.lang.IllegalArgumentException: 間違った FS: hdfs://master:8020/tmp/yangfeiran/peoplet_people_1000、予期される: hdfs: //nsスターゲイト

この問題を解決するには？

フェイラン

Maven 依存関係 (SBT 形式) を使用する場合:

私は常に警告を受け取ります：

を呼び出すコードを作成するとAbstractKafkaAvroDeserializer::deserializerConfig(Map<String, ?> props)、これがオーバーロードされているため、コンパイラ エラーがAbstractKafkaAvroDeserializer::deserializerConfig(VerifiableProperties props)発生します。また、2 番目のバリアントを使用していないにもかかわらず、コンパイル エラーが発生します。

プロジェクトはkafka-avro-serializer、「提供された」スコープを持つコア Kafka サーバー ライブラリへの Maven 依存関係を宣言します。

Maven 依存関係 (SBT 表記) を追加することで、警告とエラーの両方のコンパイルの問題を修正できます。

kafka-avro-serializerこれはプロジェクトのバグのようです。そのプロジェクトは、提供されたスコープであっても、Kafka サーバー コードに依存するべきではありません。スタンドアロンで実行され、Avro でエンコードされたメッセージを操作したい Kafka Streams アプリを作成しています。このストリーム アプリは、指定されたスコープであっても、Kafka サーバー コード ベースに依存するべきではありません。

Kafka キューからいくつかのメッセージを消費しましたが、もう一度それらを消費したいと思います (すべてのデータを最初からフェッチするだけです)。Scala またはKafka Rest Proxyを使用してオフセットをリセットするにはどうすればよいですか? 私は現在使用してい"auto.offset.reset": "smallest"ます：

私は解決策に興味がないことに注意してください

ユーザーの残高変更のユースケースがあります。すべてのユーザー バランス イベントを 1 つのトピックにまとめたい。しかし、紹介ボーナス、勝利ボーナス、出金、入金などの複数のイベントにより、ユーザーの残高の変化が発生しています。これは、次のようにネストされたレコードを介して実装できます。

ただし、これにより、ネストされたすべてのレコードが必要に応じて作成されますが、これらのイベントのいずれかがそのイベントのレコードに厳密に準拠してイベントに存在することを厳密に実装したいと考えています。Avro スキーマは「oneOf」をサポートしていますが、confluent スキーマ レジストリのユースケースで oneOf が使用されている場所は見つかりませんでした。それを使用する方法はありますか？

私はコンフルエントの世界に不慣れで、コンフルエントから飼育係であるカフカを開始する方法を知っていますが、それは私が必要とするものではありません。

Ambari によってインストールされた 3 つの kafka ノードと 2 つの Zookeepers が既にあります。その後、Confluent の 3.0.0 バージョンをダウンロードし、Confluent を既に実行中の Kafka と Zookeeper に接続したいと考えています。コンフルエントが提供している新しいkafkaサーバーまたはzookeeperサーバーをインスタンス化したくありません。

それを達成する方法、実際に Confluent から何を実行し、何を変更するかについて考えている人はいますか?

今までは、Confluent ディレクトリにある./etc/kafka または ./etc/zookeeperのファイルのみを変更していました。ありがとうございました！