使用するPythonファイルのzipのGCS uri( --py-files 引数を介して)とPythonファイル名を PY_FILE 引数値としてジョブを送信しようとしていました。これはうまくいかなかったようです。PY_FILE 値に相対パスを指定する必要がありますか? PY_FILE も zip に含まれています。例えば
gcloud beta dataproc jobs submit pyspark --cluster clustername --py-files gcsuriofzip PY_FILE
PY_FILE の値は?