0

http://rishiverma.com/software/blog/2014/07/31/spark-streaming-and-kafka-quickstart/にある KafkaWordCount という名前の例に取り組みました。

ところで、重要ではないいくつかの詳細を変更しました。そして、Kafka コンシューマーを構築する最後のステップに進んだとき、それは失敗し、次のように述べました。

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'localhost:2181'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:1493)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:279)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:542)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:555)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:92)
at org.apache.spark.streaming.examples.KafkaWordCount$.main(KafkaWordCount.scala:54)
at org.apache.spark.streaming.examples.KafkaWordCount.main(KafkaWordCount.scala)

誰かがこの失敗に会いましたか？

4

1 に答える 1

2

どのバージョンの Spark を使用していますか? Spark 1.0 以降では、KafkaWordCount はorg.apache.spark の下にあります。examples.streamingパッケージ。スタックトレースから、あなたのバージョンはorg.apache.spark の下にあるようです。これは、1.0 より前のバージョンの Spark を使用していることを示しています。

Spark 0.9.x (SparkConf および spark-submit の導入前にリリースされた) では、この例の最初の引数は Spark マスター URL ( source ) であり、「マスターを解析できませんでした」ため、問題が発生しました。 URL」エラーは、有効な Spark マスター URLlocal:2181ではないことを示しています。

可能であれば、Spark の新しいバージョンを使用することをお勧めします (リンクしたチュートリアルでは、Spark 1.0.1 以降を推奨しています)。それ以外の場合は、特定のバージョンの KafkaWordCount (例) の上部にある指示に従います。

于 2014-10-02T02:43:14.987 に答える