私は Spark を初めて使用し、次のエラーについてサポートが必要です。
java.lang.NoClassDefFoundError: org/apache/spark/rdd/RDD$
Scala でスタンドアロンの Spark の例を作成しています。と を実行sbt clean packageしsbt assemblyて、scala spark コードをパッケージ化しました。どちらもエラーなしで正常に完了しました。RDD で操作を行うと、エラーがスローされます。この問題を解決するための指針は本当に役に立ちます。
コマンドを使用してジョブを呼び出しspark-submitます。
$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.GroupTest /Users/../spark_workspace/spark/examples/target/scala-2.10/spark-examples_2.10-1.3.0-SNAPSHOT.jar
私はなんとかこのエラーを投げて、それを乗り越えました。これは間違いなくYMMVの回答ですが、最終的に誰かを助ける場合に備えてここに残します.
私の場合、Mac で自作インストールの spark (1.2.0) と mahout (0.11.0) を実行していました。mahout のコマンド ラインを手動で実行した場合はエラーが発生しませんでしたが、python コード内から呼び出すとエラーが発生したため、かなり困惑しました。
代わりに 1.4.1 を使用するようにプロファイルの SPARK_HOME 変数を更新し、手動端末で再ソースしたことに気付きました。Python コードを実行していた端末は、まだ 1.2.0 を使用していました。Python ターミナルでプロファイルを再ソースしたところ、「正常に動作する」ようになりました。
このエラーがスローされる合理的な理由を推測すると、すべてが非常に黒い魔法のように感じられます。おそらく、可動部分の1つが、あなたが持っているものとは異なるスパークバージョン、アーキテクチャを想定しているためです。それもコメントで示唆された解決策のようです。