2

サンプル プロジェクトをhttp://zeppelin-project.org/docs/tutorial/tutorial.html (「ストリーミング データを使用したチュートリアル」セクション)から私の Zeppelin Notebook に追加しました。私が今抱えている問題は、アプリケーションがローカルでしか動作しないように見えることです。Spark インタープリター設定の "master" を "local[*]" から "spark://master:7077" に変更すると、同じ SQL ステートメントを実行しても、アプリケーションは結果を返さなくなります。私は何か間違ったことをしていますか？Zeppelin インタープリター、Zeppelin デーモン全体、Spark クラスターを再起動しましたが、問題は解決しませんでした。誰か助けてくれませんか。

次のインストールを使用します。

  • Spark 1.5.1 (Hadoop 2.6+ 用に事前ビルド)、マスター + 2x スレーブ
  • Zeppelin 0.5.5 (Spark のマスター ノードにインストール)

EDIT また、次のインストールは機能しません。

  • Spark 1.5.0 (Hadoop 2.6+ 用に事前ビルド)、マスター + 2x スレーブ
  • Zeppelin 0.5.5 (Spark のマスター ノードにインストール)

スクリーンショット: ローカル設定 (動作します!) ここに画像の説明を入力

スクリーンショット: クラスタ設定 (動かない!) ここに画像の説明を入力

ジョブはクラスター モードで正しく実行されているようです。 ここに画像の説明を入力

4

1 に答える 1

3

2日間の試行錯誤の末に手に入れました！

ローカルの Zeppelin Spark インタープリターと Spark クラスターの違いは、ローカルのものには Twitter ストリーミングの例を実行するために必要な Twitter Utils が含まれており、Spark クラスターにはデフォルトでこのライブラリがないことです。

したがって、Spark クラスターをマスターとしてアプリケーションを起動する前に、Zeppelin Notebook に依存関係を手動で追加する必要があります。したがって、ノートブックの最初の段落は次のようにする必要があります。

%dep
z.reset
z.load("org.apache.spark:spark-streaming-twitter_2.10:1.5.1")

この段落の実行中にエラーが発生した場合は、./bin/zeppelin-daemon.sh stop (& start) 経由で Zeppelin サーバーを再起動してみてください!

于 2015-12-16T19:26:51.250 に答える