1

Spark ストリーミング wodcount Python コードをコピーし、spark-submit を使用して Spark クラスターで wordcount Python コードを実行しましたが、次のエラーが表示されます。

py4j.protocol.Py4JJavaError: An error occurred while calling o23.loadClass.
: java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

jar spark-streaming-kafka-assembly_2.10-1.4.0-SNAPSHOT.jar を作成しました。そして、次のスクリプトを使用して送信しました: bin/spark-submit /data/spark-1.3.0-bin-hadoop2.4/wordcount.py --master spark://192.168.100.6:7077 --jars /data/ spark-1.3.0-bin-hadoop2.4/kafka-assembly/target/spark-streaming-kafka-assembly_*.jar.

前もって感謝します！

4

2 に答える 2

2

実際、スクリプトの後に --jars が含まれていることに気付きました。スクリプト名の前に jar ファイルを指定しない限り、jar ファイルは含まれません。 したがって、spark-submit Script.py --jars spark-streaming-kafka-assembly_2.10-1.3.1 の代わりに spark-submit --jars spark-streaming-kafka-assembly_2.10-1.3.1.jar Script.py を使用します。 .jar.

于 2015-05-18T05:41:54.933 に答える