問題タブ [livy]

Spark jar が HDFS に既に存在するLivyを使用して、クラスターの外部から HTTP 呼び出しを介して Spark ジョブを実行したいと思います。

spark-submitクラスターノードのシェルからジョブを実行できます。たとえば、次のようになります。

--master yarn-clusterjar が存在する HDFS にアクセスするには、 が必要であることに注意してください。

を使用して、Livy 経由でコマンドを送信することもできますcurl。たとえば、次のリクエスト:

... クラスターで次のコマンドを実行します。

これは、機能するコマンドからパラメーターを除いたものと同じ--master yarn-clusterです。これはテーリングによって確認されました/var/log/livy/livy-livy-server.out。

そのため、コマンドがLivy によって実行されるときcurlに含めるようにコマンドを変更する必要があります。--master yarn-cluster一見すると、JSON ディクショナリに引数を追加することで、これが可能になるはずです。残念ながら、これらは通過しません。

システム全体の変更--master yarn-clusterを行わずにジョブが YARN で実行されるように Livyに渡す方法を知っている人はいますか?

localhost:8998/sessions/0/statements次の本文で、へのHTTP POST 呼び出しを使用して、Livy Server でステートメントを実行しています。

次の形式で回答を希望します

しかし、私が得ているのは

データフレームのtoString()バージョンです。

Livy サーバーを使用してデータフレームを JSON として返す方法はありますか?

編集

問題に対処する JIRA の問題を見つけました: https://issues.cloudera.org/browse/LIVY-72

コメントによって、Livy はそのような機能をサポートしておらず、今後もサポートしないと言えますか?

Apache Spark の上に RESTful API を構築しています。次の Python スクリプトを使用するspark-submitと、問題なく動作するようです。

しかし、グーグルで調べてみると、 Livyやspark-jobserver のようなものが表示されます。これらのプロジェクトのドキュメントといくつかのチュートリアルを読みましたが、CherryPy や Flask、その他の Web フレームワークを使用した単純なスクリプトに対する Livy や spark-jobserver の利点をまだ完全には理解していません。スケーラビリティについてですか？コンテキスト管理？ここで何が欠けていますか？私が必要としているのがユーザー数の少ないシンプルな RESTful API である場合、Livy または spark-jobserver は問題を起こす価値がありますか? もしそうなら、なぜですか？

Spark で Zeppelin を正常に構成しました。しかし、マルチテナンシーを使いたいので、Livy と Spark で Zeppelin を構成したいと考えています。

Livy には、次の 2 つのパスを用意しました。

Zeppelin で次のコマンドを正常に実行できます。

ただし、次のコマンドは失敗します。

次のエラーが表示されます。

Zeppelin の Shiro 認証をまだ有効にしていません。私は、Spark のホーム ディレクトリを提供するので、Livy はデフォルトのユーザーを使用して Spark にログインすると想定していました。上記の問題をどのように修正できますか？また、偽装を有効にするには、どのような構成を行う必要がありますか?

Livy 経由で Kerberos 化された Hadoop クラスターに接続して、Spark コードを実行しようとしています。リクエストコール im メイキングは以下の通りです。

この呼び出しは次のエラーで失敗します

GSSException: 有効な資格情報が提供されていません (メカニズム レベル: Kerberos 資格情報が見つかりませんでした)

ここで何か助けていただければ幸いです。