問題タブ [spark-submit]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

524 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
162 参照

scala - Oozie で Spark ジョブを起動すると失敗する (Error MetricsSystem)

spark-submitで起動する spark jar があり、正常に動作します (ファイルの読み取り、RDD の生成、hdfs への保存)。ただし、Oozie ジョブ(oozie:spark-action)内で同じ jar を起動しようとすると、spark ジョブは失敗します。

ログを調べたところ、最初に表示されるエラーは次のとおりです。

エラー MetricsSystem: シンク クラス org.apache.spark.metrics.sink.MetricsServlet をインスタンス化できません。

さらに、spark スクリプトをいじり始めたところ、saveAsText関数に問題があることがわかりました。HDFS に書き込まずに同じ Spark ジョブを実行すると、ワークフロー全体が正常に機能します。

助言がありますか ？


12345678910