問題タブ [spark-submit]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
jar - spark-submit を使用した外部 jar ライブラリ
外部jar libを使用するscalaアプリがあります。アプリケーション jar が hdfs にコピーされた場合、どのように使用できますか?
ローカルから始めまし--conf spark.driver.extraClassPath=./lib/*たが、hdfsリンクを使用すると機能しません。
java - システム プロパティを spark-submit に渡し、クラスパスまたはカスタム パスからファイルを読み取ります
最近、Apache Sparkで log4j の代わりに logback を使用する方法をspark-submit見つけました (ローカルでの使用と. ただし、最後のピースが欠落しています。
logback.xml問題は、Sparkがそのクラスパスに設定を表示しないように非常に懸命に努力することです。ローカル実行中にロードする方法をすでに見つけました：
私がこれまでに持っているもの
基本的に、 System プロパティ をチェックしますが、念のためmy からlogback.configurationFileロードします:logback.xml/src/main/resources/
そして、SparkContext を初期化すると...
ローカルで動作することを確認できます。
と遊んでいるspark-submit
これによりエラーが発生します。
最初にアプリケーションがファイルを見つけるため（私のコードによると）、これはナンセンスだと思います
そして、その間に
結局のところ... おっ！そこにファイルがありません!? 一体何!? jar内のファイルが見つからないのはなぜですか。それは明らかにそこにあります、私はそれをトリプルチェックしました。
別のアプローチspark-submit
だから私は思った、OK。システム プロパティを指定できるので、ファイルを渡します。logback.xmlファイルを自分の隣に置き、次のようにしますapplication-fat.jar。
そして、上記と同じエラーが発生します。だから私の設定は完全に無視されます！なんで？指定方法
ドライバーとエグゼキューターに適切に渡しますか?
ありがとう！