問題タブ [apache-zeppelin]

Spark リポジトリから最新のソースを取得し、ローカルでビルドしました。spark-shellまたはのようなインタラクティブなシェルからうまく機能しspark-sqlます。

このインストールマニュアルに従って、Zeppelin を Spark 1.5 に接続したいと思います。カスタム Spark ビルドをローカルの Maven リポジトリに公開し、Zeppelin ビルド コマンドでカスタム Spark バージョンを設定しました。ビルドプロセスは正常に終了しましたが、scノートブック内などの基本的なことを実行しようとすると、次のようにスローされます。

akka.ConfigurationException: Akka JAR バージョン [2.3.11] が提供された構成バージョン [2.3.4] と一致しません

バージョン 2.3.4 がpom.xmlおよびspark/pom.xmlに設定されていますが、それらを変更するだけでは、ビルドすることさえできません。

標準で Zeppelin を再構築すると-Dspark.vesion=1.4.1、すべてが機能します。

上記は起動して正常に動作しますが、停止できないようです。%sql show tables を呼び出すと、フリーズするだけです。

上記の StreamingContext を停止するにはどうすればよいですか?

スタンドアロン モードで単純な Spark クラスターをセットアップし、Apache Zeppelin をインタラクティブな Spark "スクラッチパッド" として使用したいと考えています。残念ながら、SparkContextを起動すると、実験用クラスタのすべてのコアが占有されます。「動的割り当て」と呼ばれる新機能があることは知っていますが、YARN でのみ機能します。このクラスターには YARN がありません。データ バックエンドとして Cassandra を使用したいので、本格的な Hadoop スタックを実行したくありません。

これは、YARNを使用せずに何とか可能ですか?

spark-ec2 スクリプトによる aws ec2 クラスターのセットアップがあります。

Zeppelin でローカルに scala コードを記述し、クラスターで (マスター経由で) 実行できるように、Zeppelin を構成したいと考えています。さらに、s3 バケットにアクセスできるようにしたいと考えています。

このガイドとこの別のガイドに従いましたが、zeppelin からクラスターに scala コードを実行できないようです。

Zeppelinをローカルにインストールしました

私のセキュリティ グループは、AmazonEC2FullAccess と AmazonS3FullAccess の両方に設定されていました。

Zeppelin Webapp の spark インタープリターのプロパティを local[*] からspark://.us-west-2.compute.amazonaws.com:7077に編集しました。

1. 私がテストするとき

   インタープリターで、このエラーを受け取ります

   /li>

2. 「conf/zeppelin-site.xml」を編集してポートを 8082 に変更しようとしても、違いはありません。

注:最終的には、次のような方法で s3 バケットにもアクセスしたいと考えています。

親切なユーザーからのアドバイス (StackOverflow にまだ投稿されていないもの) がある場合は、お知らせください。

spark 1.5.0 でソースから zeppelin をビルドしようとしていますが、以下のエラーでビルドに失敗しました

なぜこれが起こっているのか分かりません。

このマシンにはまだ Hadoop をインストールしていませんが、ビルド中に問題になることはないと思います。しかし、spark 1.5 がインストールされています。

その他詳細はこちら

誰かがここで私を助けてくれますか?

apache zeppelin (git repo の最新ソースからビルド) をインストールしたところ、ポート 10008 で正常に起動して実行されていることがわかりました。1 行のコードで新しいノートブックを作成しました。

この段落を実行すると、以下のエラーが表示されました

java.net.ConnectException: java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) の java.net.AbstractPlainSocketImpl.socketConnect(Native Method) で接続が拒否されました java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) org.apache. thrift.transport.TSocket.open(TSocket.java:182) で org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51) で org.apache.zeppelin.interpreter.remote.ClientFactory.create( org.apache.commons.pool2.impl の org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60) の ClientFactory.java:37)。org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) の GenericObjectPool.create(GenericObjectPool.java:861) org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java: 363) org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:139) で org.apache.zeppelin.interpreter.remote.RemoteInterpreter.init(RemoteInterpreter.java:137) で org.apache.zeppelin org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:104) の .interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:257) org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java) :197) org.apache.zeppelin.scheduler.Job.run(Job.java:170) で org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.(RemoteScheduler.java:304) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent で実行.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) で java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPool2.4):Java1Exe java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) でScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) で java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPool:Executor.java) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745)ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) で java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPool:Executor.java) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745)

どんな手掛かり？

私のバックエンドはspark 1.5で、インタープリターのWebインターフェースによって、ツェッペリンが正しいバージョンのsparkを指し、適切なspark.homeを指していることを確認しました。

Spark Notebook を評価していて、3 つの異なる製品を見つけました。1. Hue 3.9 には Spark ノートブック (ベータ版) が付属しています。 2. Apache zeppelin 3. andypetrella/spark-notebook.

各製品の長所と短所を理解するのを手伝ってもらえますか

ありがとうパニ