apache-kafka - ソースだけでなくシンクでもある Kafka Connect の設計方法

Question

トピックにサブスクライブし、メッセージを変換し、変換されたメッセージを別のトピックにプッシュする Kafka-Connector を開発しています。

これまでのところ、私はそれをSinkTaskクラスとして実装しており、各タスクは ETL を実行し、パブリッシャー オブジェクトをインスタンス化し、別のトピックにメッセージを書き戻します。

それを実装するよりクリーンな方法はありますか？これは、コネクタがソースだけでなくシンクでもある一般的な使用例だと思います。

Answer 1

これは、Kafka Connect の基本的なユース ケースではありません。すでに Kafka 0.10.x を使用している場合、新しいKafka Streams APIはまさにこの種のもののために作成されました。