Kafka Connect の HDFS コネクタを構成して、いくつかの個別のトピックを 1 つのファイルに書き込み/結合することは可能ですか?
トピックには同じ avro スキーマを持つメッセージが含まれ、KafkaConnect がこれらの Kafka トピックと HDFS の間の仲介者として機能することを望みます。最悪の場合、HDFS に書き込んだ後にトピックのコンテンツを結合することもできますが、HDFS コネクタを使用すると、よりクリーンで迅速な方法が可能になると思います。
Kafka Connect の HDFS コネクタを構成して、いくつかの個別のトピックを 1 つのファイルに書き込み/結合することは可能ですか?
トピックには同じ avro スキーマを持つメッセージが含まれ、KafkaConnect がこれらの Kafka トピックと HDFS の間の仲介者として機能することを望みます。最悪の場合、HDFS に書き込んだ後にトピックのコンテンツを結合することもできますが、HDFS コネクタを使用すると、よりクリーンで迅速な方法が可能になると思います。