問題タブ [spark-streaming-kafka]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - スパーク ストリーミング + カフカ - スパーク セッション API
spark 2.0.2 を使用して Spark ストリーミング プログラムを実行するための支援に感謝します。
での実行エラー"java.lang.ClassNotFoundException: Failed to find data source: kafka"。POM ファイルを次のように変更します。
Spark は作成されていますが、kafka からのロードが呼び出されるとエラーが発生します。
作成されたスパーク セッション:
カフカ ストリーミングの作成:
エラーメッセージ：
POM.XML:
apache-spark - java.lang.NoClassDefFoundError: kafka/serializer/StringDecoder 例外の取得 Spark ストリーミングからの kafka のストリーミング中
Spark ストリーミング アプリケーションから kafka ストリーミング データを読み込もうとしています。データの読み取り中に、次の例外が発生します。
16/12/24 11:09:05 情報 storage.BlockManagerMaster: BlockManager を登録しました
ここに私のバージョン情報があります:
火花: 1.6.2
カフカ: 0.8.2
ここに pom.xml があります:
python - Spark ストリーミングと kafka の統合
Pythonでプログラムされたプロジェクトにkafkaとsparkストリーミングを使用しています。kafka プロデューサーからストリーミング プログラムにデータを送信したいと考えています。依存関係を指定して次のコマンドを実行すると、スムーズに動作します。
./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 ./kafkastreaming.py
依存関係を指定してストリーミング コードを直接実行する方法はありますか (つまり、spark-submit を使用せずに、または spark-submit を使用して依存関係を指定せずに)。
sparkのconfディレクトリにあるspark-defaults.confで依存関係を指定してみました。指定された依存関係は、1.org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 2.org.apache.spark:spark-streaming-kafka-0-8-assembly:2.1. 1
注 - https://spark.apache.org/docs/latest/streaming-programming-guide.htmlから netcat を使用して Spark ストリーミング ガイドを参照しました が、spark-submit コマンドを使用せずに機能したため、できるかどうか知りたいです。カフカとスパークストリーミングと同じです。