問題タブ [livy]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

278 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
868 参照

curl - Livy : spark ジョブを糸モードで実行する

Livy を介して糸 (クラスターまたはクライアント) モードで Spark ジョブを実行できません。Livy を使用して Spark ジョブを実行できますが、ジョブはローカル モードで実行されており、リソース マネージャーには表示されません。これらのジョブを yarn-cluster モードで実行したいと考えています。

Hortonworks HDP 2.6.1 Hadoop ディストリビューションを使用しています。HDP2.6.1 には、2 つのバージョンの spark (2.1.1 および spark 1.6.3) と 2 つのバージョンの livy (1 および 2) があります。

conf ファイルを表示/変更するための Ambari があります。

以下のファイルに変更を加えました:-

  1. /usr/hdp/2.6.1.0-129/etc/livy/conf.dist/conf/livy.conf
  2. /usr/hdp/current/livy-server/conf/livy-env.sh
  3. /usr/hdp/2.6.1.0-129/spark/conf/spark-defaults.conf

上記のファイルに以下のプロパティを追加しました:-

  1. spark.master 糸クラスター
  2. spark.submit.deployMode クラスター

========データ=========

========カールコマンド=========

ヤーンモードでsparkジョブを実行するには、どの構成ファイルを変更する必要がありますか?


12345678910