9

私は Kafka から消費し、Hadoop と Elasticsearch にデータを保存しようとしています。私は現在これを行う 2 つの方法を見てきました: Filebeat を使用して Kafka から消費し、それを ES に送信する方法と、Kafka-Connect フレームワークを使用する方法です。Kafka-Connect-HDFS および Kafka-Connect-Elasticsearch モジュールがあります。

ストリーミング データの送信にどちらを使用すればよいかわかりません。ある時点で Kafka からデータを取得して Cassandra に配置したい場合は、そのために Kafka-Connect モジュールを使用できますが、Filebeat にはそのような機能はありません。

4

1 に答える 1

8

Kafka Connect はストリーミング データを処理でき、もう少し柔軟です。エラスティックに移行するだけなら、Filebeat はログ ソースのクリーンな統合です。ただし、Kafka から多数の異なるシンクに移動する場合は、おそらく Kafka Connect が必要です。コネクタ ハブをチェックして、現在自由に使用できるオープン ソース コネクタの例を確認することをお勧めしますhttp://www.confluent.io/product/connectors/

于 2016-09-12T23:39:29.903 に答える