私の依存関係は以下の通りです。私はSparkの人々% "provided"
から、sparkの依存関係の後に追加することになっていると言われました。ここで、「提供」を追加すると、Spark モジュールの構文の強調表示が壊れます:( すべてが赤で強調表示されます (未解決) (実行後sbt gen-idea
)。正常にビルドされ続けます。
誰かが解決策を見つけましたか?コンパイルする直前に「提供された」単語を追加し、ビルド後にそれらを削除するスクリプトをハックする必要があるのではないかと心配しています。
Spark、SBT、および Intellij をすべて一緒にプレイすることは、もぐらたたきをするようなものです。1 つの問題を解決すると、別の問題が発生するようです。
libraryDependencies ++= Seq(
"org.scalacheck" %% "scalacheck" % "1.10.1" % "test" withSources() withJavadoc(),
"org.specs2" %% "specs2" % "1.14" % "test" withSources() withJavadoc(),
"org.scalaz" %% "scalaz-core" % "7.0.5" withSources() withJavadoc(),
"org.apache.commons" % "commons-math3" % "3.2" withSources() withJavadoc(),
"io.spray" %% "spray-json" % "1.3.1" withSources() withJavadoc(),
("org.apache.spark" % "spark-sql_2.10" % "1.0.0-cdh5.1.3") withSources() withJavadoc(),
("org.apache.spark" % "spark-core_2.10" % "1.0.0-cdh5.1.3") withSources() withJavadoc()
)
提供されたもの:
("org.apache.spark" % "spark-sql_2.10" % "1.0.0-cdh5.1.3" % "provided") withSources() withJavadoc(),
("org.apache.spark" % "spark-core_2.10" % "1.0.0-cdh5.1.3" % "provided") withSources() withJavadoc()