cassandra を scala で Spark に接続しようとしていますが、いくつかの問題に直面しています。使用されているバージョンは次のとおりです。
Spark 1.5.0
Cassandra 2.1.9
Scala 2.11.1
私が従った手順は次のとおりです。 - Cassandra をデフォルト設定でダウンロードし、bin/cassandra -f で起動しました。Cassandra は正常に起動し、127.0.0.1 をリッスンします。spark キースペースの try テーブルにいくつかのモック データを追加しました。- Spark をダウンロードし、sbin/start-master.sh を介してマスターを起動しました。localhost:8888 で、マスターが正常に動作していることを確認できます。次の build.sbt を作成しました。
val sparkVersion = "1.5.0"
libraryDependencies ++= Seq(
jdbc,
anorm,
cache,
ws,
"org.scalatest" % "scalatest_2.11" % "3.0.0-M8",
"com.typesafe" % "scalalogging-slf4j_2.10" % "1.1.0",
"com.typesafe.scala-logging" %% "scala-logging" % "3.1.0",
"org.apache.spark" % "spark-core_2.11" % sparkVersion,
"org.apache.spark" % "spark-streaming_2.11" % sparkVersion,
"org.apache.spark" % "spark-streaming-twitter_2.11" % sparkVersion,
"org.apache.spark" %% "spark-streaming-kafka" % sparkVersion,
"org.apache.spark" % "spark-sql_2.11" % sparkVersion,
"com.datastax.cassandra" % "cassandra-driver-core" % "3.0.0-alpha2",
"com.datastax.spark" %% "spark-cassandra-connector" % "1.5.0-M1",
"org.scalatest" %% "scalatest" % "2.2.1" % "test",
"org.mockito" % "mockito-all" % "1.9.5" % "test"
)
次の Main を書きました。
val conf = new SparkConf(true) .setAppName("Test") .setMaster("spark://127.0.0.1:7077") .set("spark.cassandra.connection.host","127.0.0.1") .set("spark.cassandra.connection.port", "9042") .set("spark.driver.allowMultipleContexts", "true") /** Connect to the Spark cluster: */ lazy val sc = new SparkContext(conf) val rdd = sc.cassandraTable("spark", "try") val file_collect=rdd.collect() file_collect.map(println(_)) sc.stop()次に、プログラムを実行します。
これは、「spark.cassandra.connector.host」=「spark://127.0.0.1:7077」で取得したスタック トレースです。
[error] o.a.s.u.SparkUncaughtExceptionHandler - Uncaught exception in thread Thread[appclient-registration-retry-thread,5,main]
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@b6391a7 rejected from java.util.concurrent.ThreadPoolExecutor@7f56044a[Running, pool size = 1, active threads = 0, queued tasks = 0, completed tasks = 3]
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2047) ~[na:1.8.0_60]
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:823) [na:1.8.0_60]
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1369) [na:1.8.0_60]
at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:112) ~[na:1.8.0_60]
at org.apache.spark.deploy.client.AppClient$ClientEndpoint$$anonfun$tryRegisterAllMasters$1.apply(AppClient.scala:96) ~[spark-core_2.11-1.5.0.jar:1.5.0]
このパラメーターを local[*] に変更すると、次のスタック トレースが得られます。
play.api.Application$$anon$1: Execution exception[[RuntimeException: java.lang.AbstractMethodError: com.datastax.spark.connector.cql.LocalNodeFirstLoadBalancingPolicy.close()V]]
at play.api.Application$class.handleError(Application.scala:296) ~[play_2.11-2.3.8.jar:2.3.8]
at play.api.DefaultApplication.handleError(Application.scala:402) [play_2.11-2.3.8.jar:2.3.8]
at play.core.server.netty.PlayDefaultUpstreamHandler$$anonfun$3$$anonfun$applyOrElse$4.apply(PlayDefaultUpstreamHandler.scala:320) [play_2.11-2.3.8.jar:2.3.8]
at play.core.server.netty.PlayDefaultUpstreamHandler$$anonfun$3$$anonfun$applyOrElse$4.apply(PlayDefaultUpstreamHandler.scala:320) [play_2.11-2.3.8.jar:2.3.8]
at scala.Option.map(Option.scala:146) [scala-library-2.11.7.jar:na]
Caused by: java.lang.RuntimeException: java.lang.AbstractMethodError: com.datastax.spark.connector.cql.LocalNodeFirstLoadBalancingPolicy.close()V
at play.api.mvc.ActionBuilder$$anon$1.apply(Action.scala:523) ~[play_2.11-2.3.8.jar:2.3.8]
at play.api.mvc.Action$$anonfun$apply$1$$anonfun$apply$4$$anonfun$apply$5.apply(Action.scala:130) ~[play_2.11-2.3.8.jar:2.3.8]
at play.api.mvc.Action$$anonfun$apply$1$$anonfun$apply$4$$anonfun$apply$5.apply(Action.scala:130) ~[play_2.11-2.3.8.jar:2.3.8]
at play.utils.Threads$.withContextClassLoader(Threads.scala:21) ~[play_2.11-2.3.8.jar:2.3.8]
at play.api.mvc.Action$$anonfun$apply$1$$anonfun$apply$4.apply(Action.scala:129) ~[play_2.11-2.3.8.jar:2.3.8]
Caused by: java.lang.AbstractMethodError: com.datastax.spark.connector.cql.LocalNodeFirstLoadBalancingPolicy.close()V
at com.datastax.driver.core.Cluster$Manager.close(Cluster.java:1423) ~[cassandra-driver-core-3.0.0-alpha2.jar:na]
at com.datastax.driver.core.Cluster$Manager.access$200(Cluster.java:1171) ~[cassandra-driver-core-3.0.0-alpha2.jar:na]
at com.datastax.driver.core.Cluster.closeAsync(Cluster.java:462) ~[cassandra-driver-core-3.0.0-alpha2.jar:na]
at com.datastax.driver.core.Cluster.close(Cluster.java:473) ~[cassandra-driver-core-3.0.0-alpha2.jar:na]
at com.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$createSession(CassandraConnector.scala:163) ~[spark-cassandra-connector_2.11-1.5.0-M1.jar:1.5.0-M1]
問題の原因はどこにありますか？