問題タブ [spark-notebook]

I am submitting my spark jobs from a local laptop to a remote standalone Spark cluster (spark://IP:7077). It is submitted successfully. However, I do not get any output and it fails after some time. When i check the workers on my cluster, I find the following exception:

When I run the same code on my local system (local[*]), it runs successfully and gives the output.

Note that I run it in spark notebook. The same application runs successfully on the remote standalone cluster when i submit it via terminal using spark-submit

Am I missing something in the configuration of notebook? Any other possible causes?

The code is very simple.

Detailed exception:

Sample code

Spark Notebook は Windows で構築できますか?

最新のソースをチェックアウトして 'sbt run' 経由で実行しましたが、エラーが発生しました:

application.conf ファイルから tachyon を無効にしましたが、ビルドは修正されません。

DCOS で spark-notebook をセットアップしました。タキオンは生態系の一部です。しかし、Tachyon をインストールするための DCOS 方法の説明は見つかりませんでした。最初からインストールすることもできますが、サービスをインストール/登録するための DCOS 準拠の方法があるようです。

どうも。J

インタラクティブなグラフを生成する Zeppelin Notebook があります。ノートブックを無期限にホストする必要はありませんが、そのインタラクティブな出力を別の Web サイトに表示したいと考えています。「この段落にリンク」して出力を iframe に埋め込むことができることは理解していますが、それにはノートブックを無期限に実行する必要があります。HTML出力をダウンロードする方法はありますか?

自分のマシンで spark ノートブックを実行しようとしていますが、「spark notebook io」に記載されている手順に従いました。この手順でbin/spark-notebookは、ターミナルでコマンドを実行しています。

エラー: 権限が拒否されました

そして、私が使用しているとき、私sudo bin/spark-notebookは得ています

エラー: そのようなコマンドはありません

この問題を解決するにはどうすればよいですか?

ソースから spark-notebook をコンパイルしましたが、実行しようとするとエラーが発生します。netty バージョンに何か問題があります。

さて、spark-notebook には多くのコンポーネントがあります。そして、それらのコンポーネントには異なる netty バージョンが必要です。sbt に次のような特定のバージョンを強制的に使用させようとしました

しかし、それはうまくいきませんでした。それを解決する方法はありますか？

ところで、netty 3.2.5 は org.jboss.netty.netty-3.2.5.Final.jar から来ています。また、io.netty からの netty アーティファクトもあります: io.netty.netty-3.6.3.Final.jar。ええ、それは一種の混乱です:-)

こんにちは、データブリック ノートブックを自動化しているデータブリック ウェビナーを見たところですが、ノートブックも依存している依存 jar があります。このツェッペリンはできますか？bash スクリプトからノートブックでスクリプトを呼び出すようなものです。ノートブックをスクリプトのように実行します。このようにノートブックを本番環境で使用したいと考えています。