問題タブ [apache-zeppelin]

Spark と Zeppelin を使用して基本的な分析を実行しようとしています。

spark-ec2にある手順を使用して、spark クラスターをセットアップしました 。また、このブログにある手順を使用して、EC2 にツェッペリンをセットアップしました。

zeppelin ノートブックで以下のコードを使用して、使用したいライブラリを追加しました

以下のコードは、S3からCSVファイルを読み取ることです

以下の例外が発生しています

Zeppelin を使用して aws spark-ec2 クラスターと s3 バケットにアクセスする方法を調べまし た。回答で述べたように、セキュリティを変更し、Spark に接続できるようになりました。sc.version版画1.4.0

Zeppelin ノートブックが S3 に接続できない理由も調べました。答えには、私がしたくないローカルスパークを使用することが記載されています。EC2 インスタンスにある Spark クラスターを使用したいと考えています。

ここで見逃しているステップは何ですか?

Intellij にブレークポイントを追加してコードをリモート デバッグするには、Zeppelin をデバッグ モードで起動する必要があります。

どうすればいいですか？これに関するドキュメントはありません。

ツェッペリン初心者です。パンダのデータフレームがあるユースケースがあります。組み込みの zeppelin チャートを使用してコレクションを視覚化する必要があります。ここでは明確なアプローチはありません。私の理解では、ツェッペリンを使用すると、RDD 形式であればデータを視覚化できます。だから、私は pandas データフレームを spark データフレームに変換し、(SQL を使用して) いくつかのクエリを実行したかったので、視覚化します。まず、パンダのデータフレームをスパークのデータフレームに変換しようとしましたが、失敗しました

そして、私は以下のエラーを得ました

誰かがここで私を助けてくれますか? また、どこか間違っている場合は修正してください。

Zeppelin で csv ファイルを読みたいし、databricks の spark-csv パッケージを使用したい: https://github.com/databricks/spark-csv

spark-shell では、spark-csv を次のように使用できます。

しかし、Zeppelin にそのパッケージを使用するように指示するにはどうすればよいでしょうか?

前もって感謝します！

EMR でクラスターを起動しました

設定あり:

次に、ローカル マシンで次のアドレスの Zeppelin UI を取得します。

成功した

新しいノートブックを作成: 実行

戻る

次に、S3 から Spark にデータをロードしようとします

その後、エラーが発生します

以下を実行するスタンドアロンの単一ノード「クラスター」をセットアップしました。

• カサンドラ 2.2.2
• スパーク 1.5.1
• リスト項目
• Spark-Cassandra-Connector 1.5.0-M2 用にコンパイルされたファット jar
• 以下でコンパイルされた Zeppelin 0.6 スナップショットのコンパイル: mvn -Pspark-1.5 -Dspark.version=1.5.1 -Dhadoop.version=2.6.0 -Phadoop-2.4 -DskipTests クリーン パッケージ

カサンドラからデータを取得するスパークシェルで完全に正常に動作します

Zeppelin-env.sh を次のように変更しました。

次に、ノートブックに段落を追加し始め、最初に以下をインポートします。

これらすべてが必要かどうかはわかりません。この段落は正常に実行されます。

次に、次のことを行います。

これは正常に実行され、次のように返されます。

次に、次の段落 - 次の 2 つのステートメントが実行されます - 最初のステートメントは成功し、2 番目のステートメントは失敗します。

結果：

最初の呼び出しが失敗するのはなぜですか。sc.fromTextFile などの呼び出しも失敗します。

以下も機能します。

しかし、これはしません:

これは私を狂わせているので、助けてください。特にスパークシェルは機能しますが、これは機能しないか、少なくとも部分的に壊れているように見えます。

ありがとう