問題タブ [spark-submit]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - Python ファイルと Java jar を Spark に送信する - エラー: JAR にメイン クラスが設定されていません。--class で指定してください
py4j を使用して、ユーザー定義の Java 関数で Python ファイルを実行する必要があります。spark-submit コマンドを使用して、pyfiles と jar をエグゼキュータに送信しています。私が Py4j 用に書いたコードが残りを処理します。
しかし、私はエラーを受け取りました
エラー: JAR にメイン クラスが設定されていません。--class で指定してください
コマンドは次のとおりです。
私の問題は、指定する Java クラスがないことです。私はpythonファイルを持っているので、正確に何を指定すればよいですか?
また、ユーザー定義関数が含まれているため、--jars、--conf spark.executor.extraClassPath、--driver-class-path オプションを使用して、jar を実行プログラムに送信しました。
--jars または --driver-class-path に言及するだけではうまくいかなかったため、3 番目のパラメーターを試しましたが、エラーが発生しました。
前もって感謝します。