そのため、実行時に Spark プロパティ (spark.executor.memory、spark.shuffle.spill.compress など) を変更する方法を誰かが知っているかどうかを尋ねて、ジョブ中のタスク/ステージ間で変更が有効になるようにします.. .
だから私はそれを知っています...
1) Spark 2.0+ (および以前のバージョンも) のドキュメントには、Spark コンテキストが作成されると、実行時に変更できないと記載されています。
2）SparkSession.conf.setはSQLのいくつかのことを変更する可能性がありますが、私はより一般的な、すべての包括的な構成を見ていました。
3) 新しいプロパティを使用してプログラムで新しいコンテキストを開始することもできますが、ここでのケースは、ジョブが既に実行されているときにプロパティを実際に調整することです。
アイデア...
1) Executor を強制終了すると、構成ファイルを再度読み取るように強制されますか?それとも、ジョブの開始時に既に構成されているものを取得するだけですか?
2) Spark コンテキストでプロパティの「更新」を強制するコマンドはありますか?
方法や他のアイデアがあることを願っています（事前に感謝します）...