問題タブ [apache-zeppelin]

Zeppelin 0.5.5 バイナリを redhat 6.3 インスタンスにダウンロードしました。また、spark 1.5.2 を正常にビルドしました。ここで、ツェッペリンに付属のコンパイル済みバージョンではなく、そのスパーク バージョンをツェッペリンに使用させたいと考えています。

そのために、 conf/ を編集して、コメントを外した次の行だけを含めました。

また、ツェッペリン GUI を編集して、マスター セットを作成しました。

次に、再起動を押して、チュートリアルをもう一度実行しようとしました。

org.apache.thrift.transport.TTransportException は org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132) で、org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) は org. org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318) の apache.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol. java:219) で org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69) で org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_interpret(RemoteInterpreterService.java:220) で org.apache.zeppelin org.apache.zeppelin.interpreter.remote.RemoteInterpreter.org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:93) で (RemoteInterpreter.java:211) org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:207) で org.apache .zeppelin.scheduler.Job.run(Job.java:170) at org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:304) at java.util.concurrent.Executors$RunnableAdapter.call(Executors) .java:471) で java.util.concurrent.FutureTask.run(FutureTask.java:262) で java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) で java.util.concurrent.ScheduledThreadPoolExecutor java.util.concurrent の java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) で $ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292)。java.lang.Thread.run(Thread.java:745) の ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

また、やっているだけで

収量:

java.net.ConnectException: java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339) の java.net.AbstractPlainSocketImpl.socketConnect(Native Method) で接続が拒否されました java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) org.apache. thrift.transport.TSocket.open(TSocket.java:182) で org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51) で org.apache.zeppelin.interpreter.remote.ClientFactory.create( org.apache.commons.pool2.impl の org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60) の ClientFactory.java:37)。org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) の GenericObjectPool.create(GenericObjectPool.java:861) org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java: 363) org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:139) で org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret(RemoteInterpreter.java:192) で org.apache.zeppelin .interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:93) at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:207) at org.apache.zeppelin.scheduler.Job.run(Job.java:170) ) org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:304) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) で java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask. run(ScheduledThreadPoolExecutor.java:292) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) で java.lang.Thread .run(Thread.java:745) 0 秒かかりました。0 秒かかりました。0 秒かかりました。

私が間違っていることのアイデアはありますか？

サンプル プロジェクトをhttp://zeppelin-project.org/docs/tutorial/tutorial.html (「ストリーミング データを使用したチュートリアル」セクション)から私の Zeppelin Notebook に追加しました。私が今抱えている問題は、アプリケーションがローカルでしか動作しないように見えることです。Spark インタープリター設定の "master" を "local[*]" から "spark://master:7077" に変更すると、同じ SQL ステートメントを実行しても、アプリケーションは結果を返さなくなります。私は何か間違ったことをしていますか？Zeppelin インタープリター、Zeppelin デーモン全体、Spark クラスターを再起動しましたが、問題は解決しませんでした。誰か助けてくれませんか。

次のインストールを使用します。

• Spark 1.5.1 (Hadoop 2.6+ 用に事前ビルド)、マスター + 2x スレーブ
• Zeppelin 0.5.5 (Spark のマスター ノードにインストール)

EDIT また、次のインストールは機能しません。

• Spark 1.5.0 (Hadoop 2.6+ 用に事前ビルド)、マスター + 2x スレーブ
• Zeppelin 0.5.5 (Spark のマスター ノードにインストール)

スクリーンショット: ローカル設定 (動作します!)

スクリーンショット: クラスタ設定 (動かない!)

ジョブはクラスター モードで正しく実行されているようです。

I want to install Zeppelin to use my existing Spark cluster. I used the following way:

• Spark Master (Spark 1.5.0 for Hadoop 2.4):
  • Zeppelin 0.5.5
• Spark Slave

I downladed the Zeppelin v0.5.5 and installed it via:

I saw, that the local[*] master setting works also without my Spark Cluster (notebook also runnable when shutted down the Spark cluster).

My problem: When I want to use my Spark Cluster for a Streaming application, it seems not to work correctly. My SQL-Table is empty when I use spark://my_server:7077 as master - in local mode everything works fine!

See also my other question which describes the problem: Apache Zeppelin & Spark Streaming: Twitter Example only works local

Did I something wrong

• on installation via "mvn clean packge"?
• on setting the master url?
• Spark and/or Hadoop version (any limitations???)
• Do I have to set something special in zeppelin-env.sh file (is actually back on defaults)???

zeppeline spark インタープリターを構成したい。--conf "spark.cassandra.connection.host=<ip>" --conf "spark.cassandra.input.split.size_in_mb=32" and --jars $(echo /home/sysadmin/ApacheSpark/jar/*.jar | tr ' ' ',')私の zeppelin ui インタープリターを介してサブミットをスパークするオプションを渡したいと思います。

どうすればそれらを渡すことができますか? 多くの Cassandra マシンがあるため、複数の Spark インタープリターを作成したいので、ここに記載されているように zeppelin-env ファイルに構成を追加したくありません。

たとえば、ディスクからファイルを削除するシェル コマンド (%sh を使用) をユーザーが実行しないようにするために、Zeppelin が提供するセキュリティの種類を知りたいと思っていました。

たとえば、こちらの Bash インタープリター テストをご覧ください。