Apache サイトから spark ソースをダウンロードし、maven を使用してソースをビルドしました。
spark - version 1.6.3
hadoop - version 2.7.3
scala - version 2.10.4
プロジェクトをビルドするために以下のコマンドを使用しました
.build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -Dscala-2.10 -DskipTests clean package
バージョン - Phadoop-2.4、2.6 で試しましたが、ハイブのビルド時に毎回エラーが発生します -
プロジェクト spark-hive_2.10 でゴール net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) を実行できませんでした: ラップ: scala.reflect.internal.MissingRequirementError: object scala.runtimeコンパイラ ミラーに見つかりません。→【ヘルプ1】