hdfs - kafka から hdfs への書き込み (cloudera cdk を使用?)

Question

Kafka にメッセージを送信するアプリケーション ブラウザーを備えたシステムを設計したいと考えています。コンシューマーは、イベントを avro 形式で HDFS に書き込む必要があります。

これはどのように見えるべきですか？

メッセージを確認するのに適切なタイミングはいつですか?

hdfsファイルにどのように正確に追加できますか? cdk について読んだところ、良い方向に進んでいるように見えます。私ができないのは、レコードをいつどのようにフラッシュするかです。

誰かが良い例を持っていますか？

Answer 1

Kafka と一緒にnathanmarz の嵐を使用することを検討しましたか。Kafka にはKafka Spout、Kafka キュー (トピック) からデータをプルしてストーム トポロジにフィードするという名前の優れた統合サポートがあります。boltその後、 storm を使用して、HDFS への書き込みを含め、ほとんどすべてを簡単に実行できます。

サンプルについては、次のプロジェクトを簡単に確認できます。これにより、いくつかのヒントが得られることを願っています

Kafka-hadoop ローダー kafka
-hadoop コンシューマー

Kafka と HDFS の相互作用について説明しているこの記事も参照してください。