3

kafka から hdfs にデータを書き込もうとしています。Confluent の kafka-connect-hdfs Java API の使用方法はどこにも文書化されていません。

4

2 に答える 2

6

Java API を使用する必要はありません。KafkaConnect は、コマンド ラインまたは REST API から使用できます。Java からコネクタをトリガーしている場合でも、REST APIは引き続き機能します。

開始するためのドキュメント:

まず、KafkaConnect クイックスタート。高度なことを行う前に、システムが良好な状態であることを確認します: http://docs.confluent.io/3.0.0/connect/intro.html#quickstart

Kafka を初めて使用する場合は、Kafka クイックスタート ( https://kafka.apache.org/quickstart ) から始めることもできます。

スタンドアロンが機能したら、分散モードに切り替えて、REST APIを確認してください。

次に、HDFS コネクタを試します。クイックスタートから開始します: http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

またはブログ チュートリアル: http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

これが途中で役立つことを願っています。

于 2016-08-11T16:40:47.263 に答える