apache-spark - Spark ドライバ プロセスはディスクにスピルしますか?

Question

Spark Thrift サーバーで大規模な SQL クエリを実行しているときに、OOM エラーが発生しました。Spark Master がデータをディスクにスピルできるかどうか疑問に思っていました。

spark sql の結果を jupyter ノートブックにストリーミングする方法はありますか。