問題タブ [instantiationexception]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
pyspark - Oozie で spark アクションを使用して Pyspark スクリプトを実行できない - 'org.apache.spark.sql.hive.HiveExternalCatalog のインスタンス化中にエラーが発生しました
EMR 5.14 クラスターでOozie ワークフローを使用して spark アクションを実行しているときに、以下のエラーに直面しています。
pyspark.sql.utils.IllegalArgumentException: u"'org.apache.spark.sql.hive.HiveExternalCatalog' のインスタンス化中にエラーが発生しました" 私の Pyspark スクリプトは、通常の Spark ジョブとして実行すると正常に実行されますが、Oozie Pyspark プログラムを介して実行されていません:-
LINKから参照して、workflow.xml と job.properties を作成しました。
すべてのスパークとハイブ関連の構成ファイルを同じディレクトリ ($SPARK_CONF_DIR/) の下にコピーしました。Hive は、メタストアに MySQL を使用するようにも構成されています。
この Pyspark プログラムを Oozie スパーク アクションで jar ファイルとして実行するときに直面している問題を解決するのを手伝っていただければ幸いです。