Spark 1.2.0 の CDH4 ビルドを使用して、.NET を使用してビルドされた Scala コードの jar を送信していsbt assembly
ます。
spark shell と spark submit の両方が以下のエラーで失敗しています。
java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1028)
以下のように、build.sbt に依存関係として snappy を含めましたが、それもダウンロードされます。
libraryDependencies ++= Seq(
// Spark dependency
"org.apache.spark" % "spark-core_2.10" % "1.2.0" % "provided",
"org.xerial.snappy" % "snappy-java" % "1.0.5.4"
)
問題と適切な解決策を提案してください。
これがspark-submitコマンドです
./spark-submit --class org.cmls.SparkExamples.Spark_First /home/varun/SPARK/spark-1.2.0/assembly/target/scala-2.11/my-project-assembly.jar