0

以下を実行しています: - spark スタンドアロン クラスター (ビルド前: http://d3kbcqa49mib13.cloudfront.net/spark-1.5.1-bin-hadoop2.6.tgz ) - Zeppelin 0.5.0 (タグ: https:/ /github.com/apache/incubator-zeppelin/releases/tag/v0.5.0 ) - Oracle JDK 8u66

任意の Spark クラスタ マシンから Spark シェルを起動できます。

次のように Zeppelin をインストールしました ( https://zeppelin.incubator.apache.org/docs/install/install.html ):

git clone https://github.com/apache/incubator-zeppelin zeppelin
cd zeppelin
git checkout tags/v0.5.0
mvn install -DskipTests -Dspark.version=1.5.1 -Dhadoop.version=2.6.0

私は次のように構成zeppelin-env.shしました：

export JAVA_HOME="/home/spark/java"
export MASTER="spark://master:7077"
export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=2g -Dspark.cores.max=8"
export ZEPPELIN_MEM="-Xmx2048m -XX:MaxPermSize=512m"
export SPARK_HOME=/home/spark/spark
export SPARK_CONF_DIR=/home/spark/spark/conf

SPARK_HOME は、spark クラスターのノードで使用可能なものと同じ Spark バージョンであることに注意してください。

ここで、最初のメモを作成し、実行したクラスターへの接続をテストします。

%spark val ctx = new org.apache.spark.sql.SqlContext(sc)

次のエラーが表示されます

ERROR [2015-11-09 12:02:40,172] ({pool-1-thread-3} ProcessFunction.java[process]:41) - Internal error processing getProgress
org.apache.zeppelin.interpreter.InterpreterException: akka.ConfigurationException: Akka JAR version [2.3.11] does not match the provided config version [2.3.4]
    at org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:75)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress(LazyOpenInterpreter.java:109)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.getProgress(RemoteInterpreterServer.java:299)
    at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Processor$getProgress.getResult(RemoteInterpreterService.java:938)
    at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Processor$getProgress.getResult(RemoteInterpreterService.java:923)
    at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
    at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)
    at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: akka.ConfigurationException: Akka JAR version [2.3.11] does not match the provided config version [2.3.4]
    at akka.actor.ActorSystem$Settings.<init>(ActorSystem.scala:210)
    at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:505)
    at akka.actor.ActorSystem$.apply(ActorSystem.scala:142)
    at akka.actor.ActorSystem$.apply(ActorSystem.scala:119)
    at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:121)
    at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53)
    at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:52)
    at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1913)
    at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:141)
    at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1904)
    at org.apache.spark.util.AkkaUtils$.createActorSystem(AkkaUtils.scala:55)
    at org.apache.spark.rpc.akka.AkkaRpcEnvFactory.create(AkkaRpcEnv.scala:253)
    at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:53)
    at org.apache.spark.SparkEnv$.create(SparkEnv.scala:252)
    at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:193)
    at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:277)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:450)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:301)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:423)
    at org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:73)
    ... 11 more

誰かが私が間違っていることを知っていますか?

4

1 に答える 1

1

バージョン 1.5.(1) では、Spark は 2.3.11 バージョンの akka を使用します。

Zeppelin バージョン 0.5 には、それに関連する変更はありません。

可能であれば、0.5.5 バージョン (4 日前にリリース) を使用することをお勧めします。これは、必要なすべての依存関係を備えた spark-1.5 プロファイルが既に存在するためです。

https://github.com/apache/incubator-zeppelin/blob/v0.5.5/spark-dependencies/pom.xml#L459

また、(spark.version プロパティではなく) Zeppelin で spark プロファイルを使用すると、他のすべてが正しいバージョンに自動的に設定されます。

mvn clean install -Pspark-1.5 -Dhadoop.version=2.6.0 -Phadoop-2.6 -DskipTests

更新 1:

v0.5.5 は apache-jar-resource-bundle の SNAPSHOT バージョンに依存しているようです。このような変更により、Apache スナップショット リポジトリも maven 設定 (.m2/settings.xml) に追加する必要があります。

  <profiles>
    <profile>
    ...
      <repositories>
    ...
        <repository>
          <id>apache-snapshots</id>
          <name>apache-snapshots</name>
          <releases>
            <enabled>false</enabled>
            <updatePolicy>never</updatePolicy>
            <checksumPolicy>fail</checksumPolicy>
          </releases>
          <snapshots>
            <enabled>true</enabled>
            <updatePolicy>daily</updatePolicy>
            <checksumPolicy>fail</checksumPolicy>
          </snapshots>
          <url>http://repository.apache.org/snapshots/</url>
        </repository>
    ...
      </repositories>
    ...
于 2015-11-10T13:54:16.450 に答える