-1

Scala Spark アプリでテストをビルドしましたが、テストの実行中に Intellij で以下の例外が発生しました。SparkContext を使用しない他のテストは正常に実行されています。「sbt test-only」を使用して端末でテストを実行すると、sparkcontext を使用したテストは機能しますか? sparkcontext を使用したテスト用に intellij を特別に構成する必要がありますか?

例外またはエラーにより実行が中止されました: org.apache.spark.rdd.ShuffledRDD.(Lorg/apache/spark/rdd/RDD;Lorg/apache/spark/Partitioner;)V java.lang.NoSuchMethodError: org.apache .spark.rdd.ShuffledRDD.(Lorg/apache/spark/rdd/RDD;Lorg/apache/spark/Partitioner;)V at org.apache.spark.graphx.impl.RoutingTableMessageRDDFunctions.copartitionWithVertices(RoutingTablePartition.scala:36) org.apache.spark.graphx.VertexRDD$.org$apache$spark$graphx$VertexRDD$$createRoutingTables(VertexRDD.scala:457) at org.apache.spark.graphx.VertexRDD$.fromEdges(VertexRDD.scala:440) org.apache.spark.graphx.impl.GraphImpl$.fromEdgeRDD(GraphImpl.scala:336) で org.apache.spark.graphx.impl.GraphImpl$.fromEdgePartitions(GraphImpl.scala:282) で org.apache.spark .graphx.GraphLoader$.edgeListFile(GraphLoader.scala:91)

4

1 に答える 1

0

最も可能性の高い問題は、spark-core のバージョンが一致しないことです。

sbt ファイルをチェックして、対応する Spark コア バージョンを使用していることを確認してください。

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.0"  
libraryDependencies += "org.apache.spark" %% "spark-graphx" %"1.1.0"
于 2014-11-25T08:57:35.420 に答える