問題タブ [apache-kafka-connect]

Kafka Connect to consumer トピックを作成しましたが、私のトピックは実行時に変更されるため、トピックを再構成する必要があります。

RESTful API を使用してトピックを更新できることは知っていますが、これを達成する別の方法はありますか?

Kafka Connect JDBC Connectorと呼ばれるオープン ソース プロジェクトには、 JDBCSourceConnectorとJDBCSourceTaskの関係を理解し​​ようとしている 2 つのクラスがあります。

スレッドとして動作する 1 つ以上のタスクがすべて並行してデータベースをポーリングしている可能性があるため、タスク オブジェクトがデータベース接続を行う理由を理解できます。私が理解できないのは、1 つのスレッドのみを使用したい場合にタスクを使用してそれを行うことができるのに、Connector クラスに同じ接続ロジックを使用する理由です。

接続ロジックを変更する分岐バージョンを書いているので、これは私に関係があります。まだ特定していない何らかの理由で、コネクタ データベース接続を維持することを検討する必要があるかどうかを知りたいです。タスク接続ロジックを既に変更しています。

この選択が行われた設計上の理由はありますか?

Kafka Connect の HDFS コネクタを構成して、いくつかの個別のトピックを 1 つのファイルに書き込み/結合することは可能ですか?

トピックには同じ avro スキーマを持つメッセージが含まれ、KafkaConnect がこれらの Kafka トピックと HDFS の間の仲介者として機能することを望みます。最悪の場合、HDFS に書き込んだ後にトピックのコンテンツを結合することもできますが、HDFS コネクタを使用すると、よりクリーンで迅速な方法が可能になると思います。

メイン クラス org.apache.kafka.connect.cli.ConnectStandalone が見つからないか、読み込めませんでした kafka で connect-standalone を実行しようとすると、このエラーが発生します。

最初に、このファイルがある libexec に接続フォルダーがないことに気付き、それをダウンロードしました。それでも同じエラーです。

そのため、ConnectStandalone.java ファイルを個別にコンパイルしようとしましたが、kafka のフォルダーから多くのパッケージが欠落していることがわかりました。org/apache/kafka にいくつかのパッケージを含む接続フォルダーと共通フォルダーがあるはずでしたが、ありませんでした。パッケージ org.slf4j も欠落しています。

手動でいくつかダウンロードしようとしましたが、誰かが正しいフォルダを入手できる場所を教えてくれたら.

私がやりたいのは、csv を読み取り、それを 1 行ずつ消費者に送信する単純な kafka プロデューサーを作成することだけです。

少なくとも正しい方向に向かっているかどうか教えてください。

編集: 関連する場合は、brew を使用して kafka をダウンロードしました。

JDBC Kafka Connector を使用して、データベースから Kafka にデータを読み込みます。これは機能しますが、JSON を使用するように指定したにもかかわらず、データは常に Avro 形式で出力されます。Pythonでそのトピックからのメッセージを消費すると、各メッセージの上部にスキーマが表示されるため、これを行っていることがわかります。

次のようにコネクタを実行します。

connect-json-standalone.properties ファイルの内容は次のとおりです。

/etc/kafka-connect-jdbc/view.properties の内容は次のとおりです。