以下の sbt ファイルは、コマンド ラインで正常に動作する intelliJ Idea 内から spark-xml databricks パッケージを解決しません。
name := "dataframes"
version := "1.0"
scalaVersion := "2.11.8"
val sparkVersion="1.4.0"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion % "provided",
"org.apache.spark" %% "spark-sql" % sparkVersion,
"com.databricks" %% "spark-xml" % "0.3.3"
)
resolvers ++= Seq(
"Apache HBase" at "https://repository.apache.org/content/repositories/releases",
"Typesafe repository" at "http://repo.typesafe.com/typesafe/releases/"
)
resolvers += Resolver.mavenLocal
sbt は、ローカルにインストールされた sbt を指すバンドルとその他の両方に設定されていましたが、どちらの方法でも機能しませんでした。
以下のパッケージは解決され、コマンドラインから完全に機能します
import com.databricks.spark._