6

現在、confluent 3.0.1 プラットフォームで作業しています。2 つの異なるワーカーで 2 つのコネクタを作成しようとしていますが、新しいコネクタを作成しようとすると、新しいグループが作成されます。

Two connectors were created using below details:

1) POST http://devmetric.com:8083/connectors

{
    "name": "connector1",
    "config": {
        "connector.class": "com.xxx.kafka.connect.sink.DeliverySinkConnector",
        "tasks.max": "1",
        "topics": "dev.ps_primary_delivery",
        "elasticsearch.cluster.name": "ad_metrics_store",
        "elasticsearch.hosts": "devkafka1.com:9300",
        "elasticsearch.bulk.size": "100",
        "tenants": "tenant1"
    }
}

2) POST http://devkafka01.com:8083/connectors

{
    "name": "connector2",
    "config": {
        "connector.class": "com.xxx.kafka.connect.sink.DeliverySinkConnector",
        "tasks.max": "1",
        "topics": "dev.ps_primary_delivery",
        "elasticsearch.cluster.name": "ad_metrics_store",
        "elasticsearch.hosts": "devkafka.com:9300",
        "elasticsearch.bulk.size": "100",
        "tenants": "tenant1"
    }
}

しかし、それらは両方とも異なるグループ ID で作成されました。この後、既存のグループを照会しました。

$ sh ./bin/kafka-consumer-groups --bootstrap-server devmetric.com:9091  --new-consumer  --list

Result was:
connect-connector2
connect-connector1

これらのグループは Kafka connect によって自動的に作成されたもので、私が提供したものではありません。worker.properties で別の group.id を指定しました。しかし、メッセージを共有するために両方のコネクタが並行して機能するように、両方のコネクタを同じグループに配置したいと考えていました。

これを行う方法を教えてください。

4

2 に答える 2