ストリーム分析用のストリーミング データベースの作成に取り組んでいます。mySQLやHiveなどのデータベースでKafkaメッセージを更新して分析に使用するための段階的なコードを教えてもらえますか?
Zookeeper と Kafka をセットアップしましたが、永続的なデータベースにメッセージを保存してレポートに使用することができません。
ストリーム分析用のストリーミング データベースの作成に取り組んでいます。mySQLやHiveなどのデータベースでKafkaメッセージを更新して分析に使用するための段階的なコードを教えてもらえますか?
Zookeeper と Kafka をセットアップしましたが、永続的なデータベースにメッセージを保存してレポートに使用することができません。
Spark は Kafka とうまく連携します。このドキュメントを参照してください。ここに Spark の Kafka コンシューマがあります。これらを連携させるための優れたチュートリアルがあります。
Kafka + Spark を連携させたら、メッセージをデータ ストアに保存できます。スパーク&カサンドラは人気の組み合わせ。これらのチュートリアルを参照してください。
http://planetcassandra.org/getting-started-with-apache-spark-and-cassandra/