Spark Thrift サーバーを使用して Spark EMR クラスターに対して SQL クエリを実行しています。SQL クエリ (Spark ジョブに変換) が終了すると、その下にあるシャッフル ファイル/mnt/yarn/usercache/root/appcacheが消去されないことがわかります。これはNo space left on device、いくつかのクエリを実行した後に最終的に発生します。
Spark Thrift サーバーを停止すると、シャッフル ファイルが消去されます。アプリケーションが停止した後だけでなく、すべてのジョブが実行された後にクリーンアップを実行する方法はありますか? 以下のパラメータを設定してみました
yarn.nodemanager.localizer.cache.cleanup.interval-ms=6000
yarn.nodemanager.localizer.cache.target-size-mb=1000
しかし、ファイルはまだ消去されていません。なぜそれが起こるのか、どうすればそれを避けることができるのでしょうか?