1

spark-cassandra-connectorライブラリに依存する Mesos クラスターで Spark ジョブを実行しようとしていますが、失敗し続けます

Exception in thread "main" java.lang.NoClassDefFoundError: com/datastax/spark/connector/package$

私がスパークのドキュメントから理解しているように

JAR とファイルは、executor ノードの各 SparkContext の作業ディレクトリにコピーされます。... ユーザーは、--packages を使用してコンマ区切りの maven 座標のリストを指定することにより、他の依存関係を含めることもできます。

しかし、pucker-assembly-1.0.jarタスクjarのみが配布されているようです。

私はscala 2.10.6でspark 1.6.1を実行しています。そして、spark-submitこれが私が実行しているコマンドです：

spark-submit --deploy-mode cluster 
             --master mesos://localhost:57811 
             --conf spark.ssl.noCertVerification=true 
             --packages datastax:spark-cassandra-connector:1.5.1-s_2.10
             --conf spark.cassandra.connection.host=10.0.1.83,10.0.1.86,10.0.1.85 
             --driver-cores 3 
             --driver-memory 4000M 
             --class SimpleApp 
             https://dripit-spark.s3.amazonaws.com/pucker-assembly-1.0.jar
             s3n://logs/E1SR85P3DEM3LU.2016-05-05-11.ceaeb015.gz

では、なぜspark-cassandra-connectorすべてのスパーク実行者に配布されないのでしょうか?

4

1 に答える 1

0

正しい Maven 座標構文を使用する必要があります。

--packages com.datastax.spark:spark-cassandra-connector_2.10:1.6.0

見る

于 2016-06-30T15:49:57.370 に答える