intellij-idea - spark-1.0 での kafka コンシューマーの実装

Question

spark 1.0 の spark ストリーミングで kafka consumer を実装する必要があります。私はカフカプロデューサーを書きました。カフカからメッセージをプルするためのスパークレシーバーの書き方について、誰か助けてもらえますか? また、Intellij IDEA で kafka spark ストリーミング プロジェクトを実行する方法を教えてください。

Answer 1

Spark ストリーミングには、独自のコンシューマーが付属しています。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.0.2</version>
</dependency>

また、公式リポジトリには、ストリーミングの例と kafka のワードカウントがいくつかあります。

intellij では、spark-streaming および spark-streaming-kafka モジュールをインポートして、例のような単純なメインを記述します。

Answer 2

KafkaUtils.createStream(); を使用します。

API は次のとおりです: https://spark.apache.org/docs/1.0.2/api/java/index.html?org/apache/spark/streaming/kafka/KafkaUtils.html