問題タブ [apache-zeppelin]

「ツェッペリン チュートリアル」ノートブックでは、%sql インタープリターを使用できません。「」が出力されますsql interpreter not found。%mdただし、spark コマンドは、および と同様に正常に機能し%shます。

ログは次のとおりです。

エラー [2015-10-20 10:13:35,045] ({qtp885851948-51} NotebookServer.java[runParagraph]:615) - org.apache.zeppelin.interpreter.InterpreterException の実行からの例外: org.apache で sql インタープリターが見つかりません.zeppelin.notebook.NoteInterpreterLoader.get(NoteInterpreterLoader.java:148) org.apache.zeppelin.notebook.Note.run(Note.java:282) で org.apache.zeppelin.socket.NotebookServer.runParagraph(NotebookServer.java) :613) org.apache.zeppelin.socket.NotebookServer.onMessage(NotebookServer.java:126) で org.apache.zeppelin.socket.NotebookSocket.onMessage(NotebookSocket.java:56) で org.eclipse.jetty.websocket. org.eclipse.jetty.websocket.WebSocketParserRFC6455.parseNext(WebSocketParserRFC6455.java:349) org.eclipse.jetty.websocket.WebSocketConnectionRFC6455.handle(WebSocketConnectionRFC6455.java:225) で org.eclipse.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:667) で org.eclipse.jetty .io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52) at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608) at org.eclipse.jetty.util.thread.QueuedThreadPool$3 .run(QueuedThreadPool.java:543) at java.lang.Thread.run(Thread.java:745)java:52) で org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608) で org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543) で java. lang.Thread.run(Thread.java:745)java:52) で org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608) で org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543) で java. lang.Thread.run(Thread.java:745)

私の構成は次のとおりです。

github からのクローン作成に成功し、次のコマンドを使用して Apache Zeppelin をインストールしようとしています。

いくつかの試行にもかかわらず、最初の成功後に次のエラーが発生します。

[エラー] プロジェクト zeppelin-web でゴール com.github.eirslett:frontend-maven-plugin:0.0.23:grunt (grunt build) を実行できませんでした: タスクの実行に失敗しました: 'grunt --no-color' が失敗しました。(エラーコード 3) → [ヘルプ 1]

どんな助けでも大歓迎です。前もって感謝します

よろしく、

ナヴィーン・ザビエル

私は現在 Apache Zeppelin を使用してデータの視覚化を行っていますが、なぜ R 用のインタープリターを提供する人がいないのか不思議です。ドキュメントから、新しいインタープリターを作成することはそれほど難しくないように思われますが、それが本当に簡単に言えば、さまざまな言語のインタープリターが既にあるはずなので、間違っていますか?

• 使用プラットフォーム：Apache Zeppelin
• 言語: scala、javascript

私は d3js を使用してサイズが ~40MB の csv ファイルを読み取り、以下のコードで完全に正常に動作します。

ここでの考え方は、d3js を避ける代わりに、scala で JSONarray を構築し、z.angularBind() を介して JavaScript コードでこの変数にアクセスすることです。以下のコードは両方とも小さいファイルには機能しますが、サイズが 40MB の CSV ファイルに対して Java ヒープ スペース エラーが発生します。私が理解できないのは、d3.csv() がヒープ スペース エラーなしでジョブを完全に実行できる場合です。なぜこれら 2 以下のコードを実行できないのですか?

編集されたコード 1: scala の使用

編集されたコード 2: 以下のコードのように Apache spark を使用して JSON 配列を構築すると、ヒープ スペースの問題が解決する可能性があると思いましたが、これもヒープ スペース エラーが発生します。

Zeppelin 内で Spark から HDFS に書き込もうとすると、次のメッセージが表示されClassNotFoundExceptionますorg.apache.hadoop.mapred.DirectFileOutputCommitter:

実行しようとしているコード:

このクラスを検索しても、見つかりません。最も近いのはHadoop の org.apache.hadoop.mapred.FileOutputCommitter です。

Zeppelinのコミット18c8c9ea512a0d87699a73e2ca26192d03748661(10 月 9 日)、YARN 上の Spark 1.5.0、および Hadoop 2.6 を使用しています。

以下を実行しています: - spark スタンドアロン クラスター (ビルド前: http://d3kbcqa49mib13.cloudfront.net/spark-1.5.1-bin-hadoop2.6.tgz ) - Zeppelin 0.5.0 (タグ: https:/ /github.com/apache/incubator-zeppelin/releases/tag/v0.5.0 ) - Oracle JDK 8u66

任意の Spark クラスタ マシンから Spark シェルを起動できます。

次のように Zeppelin をインストールしました ( https://zeppelin.incubator.apache.org/docs/install/install.html ):

私は次のように構成zeppelin-env.shしました：

SPARK_HOME は、spark クラスターのノードで使用可能なものと同じ Spark バージョンであることに注意してください。

ここで、最初のメモを作成し、実行したクラスターへの接続をテストします。

次のエラーが表示されます

誰かが私が間違っていることを知っていますか?

私の zeppelin-env.sh では、次のように JDBC MySQL コネクタを jar としてロードしています。

さらに、次の 2 つ (またはそれ以上) の方法で動作するはずの Databricks CSV パッケージを読み込みたいと思います。

1. %dep z.load("com.databricks:spark-csv_2.10:1.2.0")
2. export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"

1 つ目はno SPARK_HOMEが設定されている場合に機能しますが、外部 Spark ホームがSPARK_SUBMIT_OPTIONS設定されている場合にのみ考慮されます。

を設定せずに databricks CSV パッケージを読み込むにはどうすればよいですか?SPARK_HOMEまたは、埋め込み Spark ライブラリを使用するときに含まれる他のすべての jar を設定せずに読み込むにはどうすればよいSPARK_HOMEですか?

実際には、Zeppelin とは独立して更新できる別の Spark インストールを使用することを好みますが、組み込みの Spark に固執する場合にない非互換性を恐れています。

Zeppelin にいくつかの追加パラメーター (--total-executor-cores 200 --executor-memory 20g --driver-memory 5g) を指定して Spark を起動するように指示します。Zeppelin UI を介してこれらのパラメーターを Spark インタープリターに追加しようとしています。編集ボタンをクリックしてこれら 3 つのパラメーターを追加しますが、保存をクリックすると消えてしまい、これらのパラメーターなしで Zeppelin によって Spark が開始されたことがわかります。

Zeppelin に追加のパラメーターを使用して Spark を開始するように指示する方法を教えてください。

ツェッペリン初心者です。今日、次のコマンドを使用して自分のコンピューターに zeppelin をインストールしようとしました。

mvn clean install -Pspark-1.5.1 -Dhadoop.version=2.3.0-cdh5.0.2 -Phadoop-2.3 -DskipTests

" karma:unit " test doesn't passというエラーが発生したので、 " " ファイル--forceの grunt の Maven ゴールに " " を追加しました。zeppelin-web/pom.xmlその後、次の結果で mvn install コマンドを渡しました。</p>

しかし、zeppelin-web のインデックスページにアクセスすると、javascript エラーで空白のページが表示されました。エラーのブラウザー開発者ツールのコンソールを介して表示されます。

他のコンピューターで同じことをしようとすると、次のエラーが発生しました。

私はそれを解決するためにあらゆる手段を試みますが、フロントエンドのスキルについての知識がほとんどないため、何をすべきかわかりません。誰でもそれを手伝ってもらえますか？どうもありがとう。

以下は、mvn の結果です。