問題タブ [apache-kafka-connect]

ノードの再起動後に Kafka Connect ワーカーの構成が失われるという問題がありました。( http://broker:port/connectors/ -> 空の配列)

今、「retention.ms」構成と関係があると思います。接続構成も「config.storage.topic」に保存され、「retention.ms」の後に削除されるためですか? そのため、非常に高い「retention.ms」を設定する必要があります。これは正しいですか、それとも Kafka によって自動的に管理されますか? (自分でトピックを作成する場合)

他の 2 つのトピックについてはどうですか? status.storage.topic - 現在の状態情報のみで、それほど重要ではない? オフセット.ストレージ.トピック

現在、confluent 3.0.1 プラットフォームで作業しています。2 つの異なるワーカーで 2 つのコネクタを作成しようとしていますが、新しいコネクタを作成しようとすると、新しいグループが作成されます。

しかし、それらは両方とも異なるグループ ID で作成されました。この後、既存のグループを照会しました。

これらのグループは Kafka connect によって自動的に作成されたもので、私が提供したものではありません。worker.properties で別の group.id を指定しました。しかし、メッセージを共有するために両方のコネクタが並行して機能するように、両方のコネクタを同じグループに配置したいと考えていました。

これを行う方法を教えてください。

数 TB のレコードが KAFKA トピックに書き込まれる本番環境のセットアップでは、KAFKA コネクト - HDFS コネクタを使用するベスト プラクティスは何ですか?

私の kafka インスタンスは AWS ホスト名 abcd で実行され、私の hadoop namenode は AWS ホスト名 pqrs で実行されています 開発/POC の目的で、私たちは abcd で実行されている kafka インスタンスと同じボックスでコンフルエントを維持しました HDFS クラスターのサイズは 500GB です。

しかし、クラスタ サイズが 20 ～ 30 TB になるプロダクション タイプのセットアップでは、コンフルエントを KAFKA インスタンスと同じボックス、Namenode ボックス、または別のボックスで維持することをお勧めしますか? このような実稼働の場合、コンフルエントにはどれくらいの個別のディスク サイズが必要ですか?

Qubole の S3 シンクを使用して、Avro データを S3 に Parquet 形式でロードしています。

Java アプリケーションでプロデューサーを作成します

次に、 aを次の形式に変換GenericRecordします。byte[]

Kafka Connect プロパティで次の値を使用します。

そして、ファイル シンク プロパティの次の構成オプション:

コネクタを実行すると、「java.lang.IllegalArgumentException: Avro スキーマはレコードである必要があります」というエラー メッセージが表示されます。

私はKafka Connectを初めて使用し、スキーマレジストリサーバーをセットアップできることを知っていますが、シンクがAvroデータをParquetに変換するためにレジストリを必要とするかどうか、またはこれが何らかの種類のものであるかどうかはわかりません私の側のフォーマットまたは構成の問題。このエラーのコンテキストで「レコード」とはどのようなデータ形式を指しますか? どんな指示や助けも大歓迎です。