apache-spark - spark.shuffle.spill を false に設定しましたが、spark 1.5.0 ではまだこぼれが発生しています。

Question

spark.shuffle.spill を false に設定しましたが、executor ログを確認したところ、spark 1.5.0 でまだスピルが発生しています。spark github リポジトリを検索したところ、1.6.0 ではこの構成パラメーターを無視し、必要に応じて流出し続けることがわかりました。しかし、私は 1.5.0 を使用しており、以前のバージョンで既に有効になっているかどうかはわかりません。

Answer 1

あなたができる唯一のことは、シャッフルに使用されるメモリの量の制限を下げることですが、それを完全に回避できることを保証するものではありません. シャッフルに必要なメモリ量が使用可能なメモリ データ量を超える場合、ディスクにスピルする必要があります。

1.6.0 では統合メモリ管理が導入されているため ( SPARK-10000を参照)、制限はもはや意味がありません。