問題タブ [spark-streaming-kafka]

createDirectStream を使用して Spark Streaming を実装しました。私の Kafka プロデューサーは、2 つのパーティションを持つトピックに毎秒複数のメッセージを送信しています。

Spark ストリーミング側では、毎秒カフカ メッセージを読み取り、5 秒のウィンドウ サイズと頻度でそれらをウィンドウ処理しています。

Kafka メッセージは適切に処理されています。正しい計算と出力が表示されています。

しかし、Spark Web UI の [ストリーミング] セクションでは、ウィンドウごとのイベント数がゼロとして表示されます。この画像を見てください：

Spark Stream にフィードされている Kafka メッセージの数を表示するべきではないのに、なぜゼロと表示されているのか不思議です。

更新しました：

groupByKeyAndWindow() api を使用すると、この問題が発生するようです。コードからこの API の使用法をコメントアウトすると、Spark Streaming UI は Kafka イベントの入力サイズを正しく報告し始めました。

これはなぜですか？これは Spark Streaming の欠陥でしょうか?

Cloudera CDH: 5.5.1、Spark: 1.5.0、Kafka: KAFKA-0.8.2.0-1.kafka1.4.0.p0.56 を使用しています。

シンプルな Kafka Producer & Consumer を作成しました。kafka_2.11-0.9.0.0 を使用しています。これが私のプロデューサーコードです。

バンドルを開始しているときに、次のエラーに直面しています。

以下のように設定してみましkey.serializerたvalue.serializer：

また、好きですが、それでも同じエラーが発生します。ここで私が間違っていることは何ですか。

Spark ストリーミングは 0.8.2.1 より上のバージョンの kafka と互換性がありますか? カスタム レシーバーを作成するのは、spark ストリーミングで 0.9 より上のバージョンの kafka を使用する唯一のオプションですか?

Kafka トピックからメッセージを読み取る Spark Streaming シンプルなアプリをセットアップしようとしています。

多くの作業の後、私はこの段階にいますが、以下に示す例外があります。

コード：

スローするもの：

必死になって、Zookeeper に接続してみました。

しかし、それはスローします：

関連する依存関係は次のとおりです。

質問したいのですが:

Kafka ブローカーまたは Zookeeper サーバーに接続する必要がありますか?

着信メッセージに接続/リッスンできないためにコードで間違っていることは何ですか?