のメモリ消費に関する問題について多くの投稿があることは知っていますがmclapply、それでも私のケースを助けることができるものがあるかどうかを確認しようとしています.
ランダム フォレスト モデルを ~600 x 60,000 (変数行列 X による応答 y) の行列に当てはめています。
library(randomForest)
fit <- randomForest(x=X,y=y)
次に、その適合をランダムな適合と比較したいと思います。そのために私がやっていることは次のとおりです。
library(parallel)
set.seed(1)
random.list <- mclapply(1:1000,function(f){
idx <- shuffle(nrow(X))
random.y <- predict(object=fit,newdata=X[idx,],type="response")
}, mc.cores = ncores)
残念ながら、これはメモリを大量に消費する (100GB 以上が必要) ため、実用的ではありません。
ところで、私が実行している環境は Linux です。
助言がありますか？