問題タブ [spark-streaming-kafka]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - スパークストリーミングworkdcount pythonコードでスパークサブミットが失敗しました
Spark ストリーミング wodcount Python コードをコピーし、spark-submit を使用して Spark クラスターで wordcount Python コードを実行しましたが、次のエラーが表示されます。
jar spark-streaming-kafka-assembly_2.10-1.4.0-SNAPSHOT.jar を作成しました。そして、次のスクリプトを使用して送信しました: bin/spark-submit /data/spark-1.3.0-bin-hadoop2.4/wordcount.py --master spark://192.168.100.6:7077 --jars /data/ spark-1.3.0-bin-hadoop2.4/kafka-assembly/target/spark-streaming-kafka-assembly_*.jar.
前もって感謝します！
apache-spark - Spark Streaming Kafka Integration direct Approach EOFException
スパークストリーミングの例を実行すると、フォローをorg.apache.spark.examples.streaming.JavaDirectKafkaWordCountキャッチしました。どうすれば解決できますかEOFException
scala - Spark Streaming DF を Kafka トピックに書き込む方法
Spark Streaming を使用して 2 つの Kafka キュー間でデータを処理していますが、Spark から Kafka に書き込む良い方法が見つからないようです。私はこれを試しました：
意図したとおりに機能しますが、すべてのメッセージに対して新しい KafkaProducer をインスタンス化することは、実際のコンテキストでは明らかに実行不可能であり、私はそれを回避しようとしています。
プロセスごとに単一のインスタンスへの参照を保持し、メッセージを送信する必要があるときにアクセスしたいと考えています。Spark Streaming から Kafka に書き込むにはどうすればよいですか?
apache-kafka - DSE Spark ストリーミング + Kafka NoSuchMethodError
Kafka トピックから文字列の行を読み取るだけの Spark Streaming + Kafka ジョブを送信しようとしています。ただし、次の例外が発生しています
15/07/24 22:39:45 エラー TaskSetManager: ステージ 2.0 のタスク 0 が 4 回失敗しました。スレッド「Thread-49」でジョブ例外を中止します。 112.93): java.lang.NoSuchMethodException: kafka.serializer.StringDecoder.(kafka.utils.VerifiableProperties) java.lang.Class.getConstructor0(Class.java:2892) java.lang.Class.getConstructor(Class.java:1723) org.apache.spark.streaming.kafka.KafkaReceiver.onStart(KafkaInputDStream.scala:106) org.apache.spark.streaming.receiver.ReceiverSupervisor.startReceiver(ReceiverSupervisor.scala:121) org.apache.spark.streaming.receiver. ReceiverSupervisor.start(ReceiverSupervisor.scala:106) org.apache.spark.
DSE で使用される spark jar ファイルを確認したところ、そのコンストラクターを持つ kafka_2.10-0.8.0.jar を使用していることがわかります。エラーの原因がわかりません。ここに私の消費者コードがあります
更新この例外は、ジョブを送信したときにのみ発生するようです。コードを貼り付けてスパークシェルを使用してジョブを実行すると、正常に動作します
scala - Spark ストリーミング、kafka: java.lang.StackOverflowError
spark-streaming アプリケーションで以下のエラーが発生しています。入力ストリームに kafka を使用しています。私がソケットでやっていたとき、それはうまくいきました。しかし、カフカに変更するとエラーが発生します。なぜエラーが発生するのか誰にもわかりますが、バッチ時間を変更してポインティング時間を確認する必要がありますか?
ERROR StreamingContext: コンテキストの開始中にエラーが発生し、停止済みとしてマークされました java.lang.StackOverflowError
私のプログラム: