「ローカル」モードで Spark アプリケーションを実行しています。checkpointFolder 構成で定義されたディレクトリに正しくチェックポイントしています。ただし、いくつかのディスク容量の問題を引き起こしている 2 つの問題があります。
1) 複数のユーザーがアプリケーションを実行しているため、サーバー上のチェックポイント フォルダーは、最初に実行したユーザーによって作成されます。これにより、OS の権限の問題により、他のユーザーの実行が失敗します。checkpointFolder=~/spark/checkpoint のように、checkpointFolder に相対パスを指定する方法はありますか?
2) spark.worker.cleanup.enabled=true 構成を使用して、実行後にチェックポイント フォルダーをクリーンアップしましたが、それが発生していません。いくつかのcronジョブに頼る代わりに、アプリを介してそれをクリーンアップする別の方法はありますか?