0

これと同じことをしようとして、コンフルエントを使用してカフカからハイブにデータをインポートしています:時間に基づくバケットレコード(kafka-hdfs-connector)

私のシンク設定は次のようなものです:

{
    "name":"yangfeiran_hive_sink_9",
    "config":{
        "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",
        "topics":"peoplet_people_1000",
        "name":"yangfeiran_hive_sink_9",
        "tasks.max":"1",
        "hdfs.url":"hdfs://master:8020",
        "flush.size":"3",
        "partitioner.class":"io.confluent.connect.hdfs.partitioner.TimeBasedPartitioner",
        "partition.duration.ms":"300000",
        "path.format":"'year'=YYYY/'month'=MM/'day'=dd/'hour'=HH/'minute'=mm/",
        "locale":"en",
        "logs.dir":"/tmp/yangfeiran",
        "topics.dir":"/tmp/yangfeiran",
        "hive.integration":"true",
        "hive.metastore.uris":"thrift://master:9083",
        "schema.compatibility":"BACKWARD",
        "hive.database":"yangfeiran",
        "timezone": "UTC",
    }
}

データが既にハイブにあるかどうかを確認するために「select * from yang」を使用している場合を除いて、データが hdfs にあり、テーブルがハイブに作成されていることがわかります。

エラーが出力されます：

失敗: SemanticException hdfs://master:8020/tmp/yangfeiran/peoplet_people_1000 が暗号化されているかどうかを判断できません: java.lang.IllegalArgumentException: 間違った FS: hdfs://master:8020/tmp/yangfeiran/peoplet_people_1000、予期される: hdfs: //nsスターゲイト

この問題を解決するには？

フェイラン

4

0 に答える 0