問題タブ [spark-submit]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - Windows 7 で spark-submit を実行した後、一時ファイルを削除できませんでした
この例のコードを使用して、spark を使用して scala プログラムを実行しています。プログラムは正常に実行されますが、StreamingContext が停止しようとすると、次のエラーが発生します。
コードから何も変更していません。それをローカルファイルシステムに複製し、sbt assemblyコマンドを実行して .jar ファイルを生成し、.jar ファイルを使用してプログラムを実行しましたspark-submit。
また、Windows cmd を管理者として実行しているので、特権の問題ではないと思います。
このエラーの原因についての手がかりはありますか?
手伝ってくれてありがとう！
apache-spark - ファイルを介して設定をスパーク送信する
spark-submit次のようなパラメーターの束を使用して、sparkジョブをデプロイしようとしています
spark-submit --class Eventhub --master yarn --deploy-mode cluster --executor-memory 1024m --executor-cores 4 --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
これらすべてのフラグをファイルに入れて渡す方法を探していたspark-submitので、spark-submitコマンドが簡単になりました
spark-submit --class Eventhub --master yarn --deploy-mode cluster --config-file my-app.cfg --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
これが可能かどうか誰でも知っていますか？