11

Spark リポジトリから最新のソースを取得し、ローカルでビルドしました。spark-shellまたはのようなインタラクティブなシェルからうまく機能しspark-sqlます。

このインストールマニュアルに従って、Zeppelin を Spark 1.5 に接続したいと思います。カスタム Spark ビルドをローカルの Maven リポジトリに公開し、Zeppelin ビルド コマンドでカスタム Spark バージョンを設定しました。ビルドプロセスは正常に終了しましたが、scノートブック内などの基本的なことを実行しようとすると、次のようにスローされます。

akka.ConfigurationException: Akka JAR バージョン [2.3.11] が提供された構成バージョン [2.3.4] と一致しません

バージョン 2.3.4 がpom.xmlおよびspark/pom.xmlに設定されていますが、それらを変更するだけでは、ビルドすることさえできません。

標準で Zeppelin を再構築すると-Dspark.vesion=1.4.1、すべてが機能します。

4

1 に答える 1

8

更新 2016-01

Spark 1.6 のサポートがmaster-Pspark-1.6に追加され、プロファイルで利用できるようになりました。

更新 2015-09

Spark 1.5 のサポートがmaster-Pspark-1.5に追加され、プロファイルで利用できるようになりました。

Apache Zeppelin で Spark 1.5 をサポートする作業 (インキュベーション中) は、この PR apache/incubator-zeppelin#269 の下で行われ、すぐに master に貸与されます。

今のところ、Spark_1.5ブランチからのビルドでうまくいく-Pspark-1.5はずです。

于 2015-09-03T04:05:47.620 に答える