問題タブ [checkpointing]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - spark-scala チェックポイントのクリーンアップ
「ローカル」モードで Spark アプリケーションを実行しています。checkpointFolder 構成で定義されたディレクトリに正しくチェックポイントしています。ただし、いくつかのディスク容量の問題を引き起こしている 2 つの問題があります。
1) 複数のユーザーがアプリケーションを実行しているため、サーバー上のチェックポイント フォルダーは、最初に実行したユーザーによって作成されます。これにより、OS の権限の問題により、他のユーザーの実行が失敗します。checkpointFolder=~/spark/checkpoint のように、checkpointFolder に相対パスを指定する方法はありますか?
2) spark.worker.cleanup.enabled=true 構成を使用して、実行後にチェックポイント フォルダーをクリーンアップしましたが、それが発生していません。いくつかのcronジョブに頼る代わりに、アプリを介してそれをクリーンアップする別の方法はありますか?
apache-flink - Flink チェックポイント用にローカル ファイル システムを構成するとどうなりますか?
という名前のビデオを見ましたManaging State in Apache Flink - Tzu-Li (Gordon) Tai。このビデオでは、分散ファイル システムでデータを保存します。
Flink チェックポイント用にローカル ファイル システムを構成するとどうなるのだろうか?
例えば：
Flink クラスタのすべてのノードが独自のデータを保持すると仮定します。うまくいくでしょうか？