コンピュータのメモリに収まらないデータに GLM を適用する必要があります。通常、この問題を回避するには、データをサンプリングし、モデルを適合させてから、メモリ不足になる別のサンプルでテストします。これは私にとって R の主な制限であり、メモリに収まらないデータでつまずかないため、GLM の SAS を適合させるために好まれてきました。
ローカル マシンで R を使用してこの問題を解決する方法を探していましたが、Sparklyr を使用してメモリの問題を回避できるかどうかを知りたいですか? Spark はクラスター環境などで使用することを意図していることは理解していますが、率直に言って、Sparklyr を使用して、ローカル マシン上のデータを操作することはできますか?