4

Kafka Connect to consumer トピックを作成しましたが、私のトピックは実行時に変更されるため、トピックを再構成する必要があります。

RESTful API を使用してトピックを更新できることは知っていますが、これを達成する別の方法はありますか?

4

2 に答える 2

2

Kafka Connect はサービスとして実行することを目的としており、コネクタを管理するための REST API もサポートしています。実行時に REST API を介してこれを更新する唯一の方法:

PUT /connectors/{name}/config - 実行時にコネクタの構成パラメータを更新します。

Request Json Object - config(map)

{
    "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector",
    "tasks.max": "20",
    "topics": "kafkaConnectTopic",
    "hdfs.url": "hdfs://smoketest:9000",
    "hadoop.conf.dir": "/etc/hadoop/conf",
    "hadoop.home": "/etc/hadoop",
    "flush.size": "1000",
    "rotate.interval.ms": "100"
}

Response :

{
    "name": "hdfs-sink-connector",
    "config": {
        "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector",
        "tasks.max": "20",
        "topics": "kafkaConnectTopic",
        "hdfs.url": "hdfs://smoketest:9000",
        "hadoop.conf.dir": "/etc/hadoop/conf",
        "hadoop.home": "/etc/hadoop",
        "flush.size": "1000",
        "rotate.interval.ms": "100"
    },
    "tasks": [
        { "connector": "hdfs-sink-connector", "task": 1 },
        { "connector": "hdfs-sink-connector", "task": 2 },
        { "connector": "hdfs-sink-connector", "task": 3 }
   ]
}

さらに読むには、http://docs.confluent.io/3.0.0/connect/userguide.html#connect-administrationを参照してください。

于 2016-09-02T11:56:11.077 に答える
0

切り替えるトピックのセットが事前にわかっている場合は、コネクタ構成で使用するトピックのリストを指定できます。それ以外の場合は、REST APIがその場で構成を更新する唯一の方法です。

于 2016-09-02T11:25:39.103 に答える