apache-spark - sbt 経由でローカルで spark アプリケーションを実行する

Question

テストのために Spark ジョブをローカルで実行したいと考えています。組み立てられた瓶が使用されている場合spark-submit、それはうまく機能します。

ただし、sbt run使用すると非常に奇妙なエラーが発生します https://gist.github.com/geoHeil/946dd7706f44f338101c8332f4e13c1a

java-opts を次のように設定しようとしています

javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled")

問題の解決には役立ちませんでした。

local[*]次のようなモードでメモリ設定をいじろうとしています

.set("spark.executor.memory", "7g")
.set("spark.driver.memory", "7g")

のさらなる問題を生み出しただけですExecutorLostFailure