py4j を使用して、ユーザー定義の Java 関数で Python ファイルを実行する必要があります。spark-submit コマンドを使用して、pyfiles と jar をエグゼキュータに送信しています。私が Py4j 用に書いたコードが残りを処理します。
しかし、私はエラーを受け取りました
エラー: JAR にメイン クラスが設定されていません。--class で指定してください
コマンドは次のとおりです。
spark-submit --files /home/USER/PATH/SOMEFILE.txt --conf spark.executor.extraClassPath= /home/USER/DEFINED_FUNCTIONS/IN JAVA/XYZ/XYZ.jar --executor-memory 512m --driver-class-path /home/USER/DEFINED_FUNCTIONS/IN JAVA/XYZ/XYZ.jar --master local[*] --jars /home/USER/DEFINED_FUNCTIONS/IN JAVA/XYZ/XYZ.jar --driver-memory 512m --py-files /home/USER/PATH/eggs/kafka.egg,/home/USER/PATH/eggs/redis.egg,/home/USER/PATH/helloworld.egg,/home/USER/PATH/helloworld.py
私の問題は、指定する Java クラスがないことです。私はpythonファイルを持っているので、正確に何を指定すればよいですか?
また、ユーザー定義関数が含まれているため、--jars、--conf spark.executor.extraClassPath、--driver-class-path オプションを使用して、jar を実行プログラムに送信しました。
--jars または --driver-class-path に言及するだけではうまくいかなかったため、3 番目のパラメーターを試しましたが、エラーが発生しました。
前もって感謝します。