Spark と Flink の k-means アプリケーションを作成しました。私のテスト ケースは、3 ノード クラスタ上の 100 万ポイントのクラスタリングです。
インメモリのボトルネックが始まると、Flink はディスクに外部委託し始め、動作は遅くなりますが動作します。ただし、メモリがいっぱいになり、再起動すると、Spark は実行者を失います (無限ループ?)。
ここのメーリング リストの助けを借りてメモリ設定をカスタマイズしようとしています。しかし、Spark はまだ機能しません。
構成を設定する必要はありますか? つまり、Flink は低メモリで動作しますが、Spark も動作できる必要があります。か否か？