現在、confluent 3.0.1 プラットフォームで作業しています。2 つの異なるワーカーで 2 つのコネクタを作成しようとしていますが、新しいコネクタを作成しようとすると、新しいグループが作成されます。
Two connectors were created using below details:
1) POST http://devmetric.com:8083/connectors
{
"name": "connector1",
"config": {
"connector.class": "com.xxx.kafka.connect.sink.DeliverySinkConnector",
"tasks.max": "1",
"topics": "dev.ps_primary_delivery",
"elasticsearch.cluster.name": "ad_metrics_store",
"elasticsearch.hosts": "devkafka1.com:9300",
"elasticsearch.bulk.size": "100",
"tenants": "tenant1"
}
}
2) POST http://devkafka01.com:8083/connectors
{
"name": "connector2",
"config": {
"connector.class": "com.xxx.kafka.connect.sink.DeliverySinkConnector",
"tasks.max": "1",
"topics": "dev.ps_primary_delivery",
"elasticsearch.cluster.name": "ad_metrics_store",
"elasticsearch.hosts": "devkafka.com:9300",
"elasticsearch.bulk.size": "100",
"tenants": "tenant1"
}
}
しかし、それらは両方とも異なるグループ ID で作成されました。この後、既存のグループを照会しました。
$ sh ./bin/kafka-consumer-groups --bootstrap-server devmetric.com:9091 --new-consumer --list
Result was:
connect-connector2
connect-connector1
これらのグループは Kafka connect によって自動的に作成されたもので、私が提供したものではありません。worker.properties で別の group.id を指定しました。しかし、メッセージを共有するために両方のコネクタが並行して機能するように、両方のコネクタを同じグループに配置したいと考えていました。
これを行う方法を教えてください。