問題タブ [apache-zeppelin]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-zeppelin - Apache - Ubuntu で Zeppelin のビルドが失敗する
私はこれにとても行き詰まっています。ここ ( https://github.com/apache/incubator-zeppelin )のすべての指示に従って、Apache-Zeppelin をインストールしました。これは Spark に必要です。
以下は、UBUNTU (VM) にインストールする必要のあるさまざまなアプリケーションです。
Git Hub から複製された Zeppelin
最初は、Maven 3.0 バージョンがありました。スレッドの 1 つは、バージョンが > 3.3 であることが提案されています。最新バージョン (3.3.9) をインストールしました。
まだ失敗している以下のコマンドを実行しました
ここからどこへ行くべきかわかりません。zeppelin フォルダ内の設定に何か変更が必要ですか? 提案してください。
scala - ClassNotFoundException: org.apache.spark.repl.SparkCommandLine
私は Apache Zeppelin の初心者で、ローカルで実行しようとしています。簡単な健全性チェックを実行して、それsc
が存在することを確認し、以下のエラーを取得しようとしました。
私はpysparkとspark 1.5用にコンパイルしました(私はspark 1.5を使用しています)。メモリを 5 GB に増やし、ポートを 8091 に変更しました。
何が間違っていたのかわからないので、次のエラーが表示され、どうすれば解決できますか。
前もって感謝します
java.lang.ClassNotFoundException: org.apache.spark.repl.SparkCommandLine at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc. Launcher$AppClassLoader.loadClass(Launcher.java:331) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:401) at org.apache org.apache.zeppelin.spark.PySparkInterpreter.getSparkInterpreter(PySparkInterpreter.java) で .zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:74) :485) org.apache.zeppelin.spark.PySparkInterpreter.createGatewayServerAndStartScript(PySparkInterpreter.java:174) で org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:152) at org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:74) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java: 68) org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:92) で org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:302) で org.apache.zeppelin java.util.concurrent.Executors$RunnableAdapter.call(Executors.java: 511) java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask の java.util.concurrent.FutureTask.run(FutureTask.java:266) で。access$201(ScheduledThreadPoolExecutor.java:180) で java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util. concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745)
更新 私にとっての解決策は、scala バージョンを 2.11.* から 2.10.* に下げ、Apache Spark を再度ビルドし、Zeppelin を実行することでした。
linux - Linux HDInsight を使用して zeppelin のリソースを変更する方法
以前に HDInsight の Windows バージョンを使用したことがあります。これには、Zeppelin のコア数とワーカー ノードあたりの RAM を設定できるタブがあります。
このチュートリアルに従って、Zeppelin を機能させました: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-zeppelin-notebook/
Linux バージョンの HDInsight は Ambari を使用してリソースを管理しますが、Zeppelin の設定を変更する方法が見つからないようです。
Zeppelin は、左側のサービス リストで別のサービスとして選択することはできません。また、アクションで「サービスの追加」を選択しても追加できないようです。
オーバーライドを使用して Ambari で一般的な spark 構成を編集してから、ワーカー ノードを新しい構成グループに追加し、カスタム spark-defaults のコアと RAM の数を増やしてみました。(次に、[保存] をクリックして、影響を受けるすべてのサービスを再起動しました。)
を使用してスパーク設定を編集してみました
/li>
ヘッドノード上にありましたが、それは Ambari によって検出されませんでした。
Zeppelin でのパフォーマンスは、毎回約 1000 ~ 1100 秒かかるクエリに対して同じままのようです。
java - JavaクライアントからApache Zeppelinサーバーを起動する方法は?
Java クライアントから Apache zeppelin サーバーを起動する方法はありますか?
サーバーは、このファイルの main メソッド内で起動されていると思います。その場合、Java クライアントからサーバーを起動するにはどうすればよいですか?
scala - zeppelin ノートブックで Spark ストリーミングによって消費される kafka メッセージを保存する
zeppelin ノートブックで Spark ストリーミングによって消費される kafka メッセージを保存する際に問題があります。
私のコードは次のとおりです。
実行する%sql select * from messages
とデータは表示されませんが、テーブルは定義されています。Cassandraで保存をtempTableに変更すると、データが正しく保存されて表示されます。なぜそうなのか理解できません。
手伝ってくれてありがとう。
apache-zeppelin - Spark で実行されている Apache Zeppelin で java ConnectionException が発生する
appache-zeppelin インストールの使用について質問したいです。
- zeppelin-0.5.5-incubating-bin-all をダウンロードしました
- zeppelin-env.sh で export JAVA_HOME=/sparkDemo/java-1.8.0-openjdk を構成し、zeppelin-site.xml で zeppelin.server.port 8084 を構成します。Zeppelin 組み込み Spark ライブラリを使用したいので、zeppelin-env.sh で SPARK_HOME を構成しませんでした。
しかし、ウィンドウ ブラウザで zeppelin のチュートリアル コードを実行すると、次のエラーが発生します: ここに画像の説明を入力してください
また、SPARK_HOME を構成し、zeppelin-env.sh で MASTER をエクスポートし、zeppelin Web UI で新しいインタープリターを作成しても、同じエラーが発生します。
私に答えてくれてどうもありがとう! スタックトレースはこちら