spark-submit次のようなパラメーターの束を使用して、sparkジョブをデプロイしようとしています
spark-submit --class Eventhub --master yarn --deploy-mode cluster --executor-memory 1024m --executor-cores 4 --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
これらすべてのフラグをファイルに入れて渡す方法を探していたspark-submitので、spark-submitコマンドが簡単になりました
spark-submit --class Eventhub --master yarn --deploy-mode cluster --config-file my-app.cfg --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
これが可能かどうか誰でも知っていますか？