問題タブ [spark-thriftserver]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
80 問題
0
投票する
0
に答える
212
参照
apache-spark - spark thrift サーバーがシャッフル ファイルをクリーンアップしない
Spark Thrift サーバーを使用して Spark EMR クラスターに対して SQL クエリを実行しています。SQL クエリ (Spark ジョブに変換) が終了すると、その下にあるシャッフル ファイル/mnt/yarn/usercache/root/appcacheが消去されないことがわかります。これはNo space left on device、いくつかのクエリを実行した後に最終的に発生します。
Spark Thrift サーバーを停止すると、シャッフル ファイルが消去されます。アプリケーションが停止した後だけでなく、すべてのジョブが実行された後にクリーンアップを実行する方法はありますか? 以下のパラメータを設定してみました
しかし、ファイルはまだ消去されていません。なぜそれが起こるのか、どうすればそれを避けることができるのでしょうか?