問題タブ [spark-submit]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

524 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
1745 参照

apache-spark - spark-submit でジョブを送信する場合、明示的に作成せずに spark セッション オブジェクトを使用できますか?

私の質問は非常に基本的です。私のコードは正常に動作しています。しかし、次の 2 点がよくわかりません。

1) spark-submit を使用して pyspark ジョブを送信するとき、このような spark セッション オブジェクトを作成する必要がありますか? 私のスクリプトで：

または、スクリプトを作成せずに、スクリプト内の spark セッション オブジェクトに直接アクセスできます。

スパークセッションオブジェクトが利用可能な場合、以下のような構成プロパティを追加する方法、またはハイブサポートを有効にする方法。

2) 別のアプローチは、spark-submit を使用しないことです。Python コードを記述して、spark-session オブジェクトを生成し、このように使用できます。

私の疑問は、spark-submit を使用してジョブを送信し、上記のように spark セッション オブジェクトを作成した場合、最終的に 2 つの spark セッションを作成することになりますか?

ステップ2の方法よりもspark-submitを使用することの利点を誰かが説明してくれれば、非常に役に立ちます。また、コマンド ラインから spark-submit を使用してジョブを呼び出す場合、spark-session オブジェクトを作成する必要がありますか?


12345678910