2

複数のファイルの読み取りとメモリ管理に関する多くの質問があります。これらの問題の両方に対処する情報を探しています。

多くの場合、データの複数の部分を別々のファイルとして読み取り、それらを 1 つのデータセットにバインドしてから処理する必要があります。私は今まで以下のようなものを使ってきました - rbinideddataset <- do.call("rbind", lapply(list.files(), read.csv, header = TRUE))

それぞれのアプローチで観察できる隆起が気になります。それはおそらく、rbindeddataset と not-まだ rbindeddatasets の両方がメモリ内に一緒に存在するインスタンスですが、確かなことは十分にわかりません。誰かがこれを確認できますか？

事前割り当ての原則をそのようなタスクに拡張できる方法はありますか? または、そのバンプを回避するのに役立つ可能性がある、誰もが知っている他のトリックはありますか? rbindlistの結果も試してみましたlapplyが、バンプは表示されません。rbindlistそれは、これを処理するのに十分賢いということですか？

data.table および Base R ソリューションは、一部のパッケージのオファリングよりも優先されます。

@Dwin および @mrip との議論に基づく 2013 年 10 月 7 日の編集

> library(data.table)
> filenames <- list.files()
> 
> #APPROACH 1 #################################
> starttime <- proc.time()
> test <- do.call("rbind", lapply(filenames, read.csv, header = TRUE))
> proc.time() - starttime
   user  system elapsed 
  44.60    1.11   45.98 
> 
> rm(test)
> rm(starttime)
> gc()
          used (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells  350556 18.8     741108   39.6    715234   38.2
Vcells 1943837 14.9  153442940 1170.7 192055310 1465.3
> 
> #APPROACH 2 #################################
> starttime <- proc.time()
> test <- lapply(filenames, read.csv, header = TRUE)
> test2 <- do.call("rbind", test)
> proc.time() - starttime
   user  system elapsed 
  47.09    1.26   50.70 
> 
> rm(test)
> rm(test2)
> rm(starttime)
> gc()
          used (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells  350559 18.8     741108   39.6    715234   38.2
Vcells 1943849 14.9  157022756 1198.0 192055310 1465.3
> 
> 
> #APPROACH 3 #################################
> starttime <- proc.time()
> test <- lapply(filenames, read.csv, header = TRUE)
> test <- do.call("rbind", test)
> proc.time() - starttime
   user  system elapsed 
  48.61    1.93   51.16 
> rm(test)
> rm(starttime)
> gc()
          used (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells  350562 18.8     741108   39.6    715234   38.2
Vcells 1943861 14.9  152965559 1167.1 192055310 1465.3
> 
> 
> #APPROACH 4 #################################
> starttime <- proc.time()
> test <- do.call("rbind", lapply(filenames, fread))

> proc.time() - starttime
   user  system elapsed 
  12.87    0.09   12.95 
> rm(test)
> rm(starttime)
> gc()
          used (Mb) gc trigger  (Mb)  max used   (Mb)
Ncells  351067 18.8     741108  39.6    715234   38.2
Vcells 1964791 15.0  122372447 933.7 192055310 1465.3
> 
> 
> #APPROACH 5 #################################
> starttime <- proc.time()
> test <- do.call("rbind", lapply(filenames, read.csv, header = TRUE))
> proc.time() - starttime
   user  system elapsed 
  51.12    1.62   54.16 
> rm(test)
> rm(starttime)
> gc()
          used (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells  350568 18.8     741108   39.6    715234   38.2
Vcells 1943885 14.9  160270439 1222.8 192055310 1465.3
> 
> 
> #APPROACH 6 #################################
> starttime <- proc.time()
> test <- rbindlist(lapply(filenames, fread ))

> proc.time() - starttime
   user  system elapsed 
  13.62    0.06   14.60 
> rm(test)
> rm(starttime)
> gc()
          used (Mb) gc trigger  (Mb)  max used   (Mb)
Ncells  351078 18.8     741108  39.6    715234   38.2
Vcells 1956397 15.0  128216351 978.3 192055310 1465.3
> 
> 
> #APPROACH 7 #################################
> starttime <- proc.time()
> test <- rbindlist(lapply(filenames, read.csv, header = TRUE))
> proc.time() - starttime
   user  system elapsed 
  48.44    0.83   51.70 
> rm(test)
> rm(starttime)
> gc()
          used (Mb) gc trigger  (Mb)  max used   (Mb)
Ncells  350620 18.8     741108  39.6    715234   38.2
Vcells 1944204 14.9  102573080 782.6 192055310 1465.3

予想どおり、時間の節約は fread で最も高くなります。ただし、アプローチ 4、6、および 7 は最小のメモリ オーバーヘッドを示しており、その理由はよくわかりません。

ここに画像の説明を入力

4

2 に答える 2

4

rbindlistメモリを事前に割り当てて新しいデータ フレームを 1 回のパスで作成するように見えますがdo.call(rbind)、一度に 1 つのデータ フレームを追加して毎回コピーします。その結果、rbindメソッドの実行時間はO(n^2)線形rbindlist時間で実行されます。また、反復 rbindlistごとに新しいデータ フレームを割り当てる必要がないため、メモリの増加を避ける必要があります。n

いくつかの実験データ:

x<-data.frame(matrix(1:10000,1000,10))
ls<-list()
for(i in 1:10000)
  ls[[i]]<-x+i

rbindtime<-function(i){
  gc()
  system.time(do.call(rbind,ls[1:i]))[3]
}
rbindlisttime<-function(i){
  gc()
  system.time(data.frame(rbindlist(ls[1:i])))[3]
}

ii<-unique(floor(10*1.5^(1:15)))
## [1]   15   22   33   50   75  113  170  256  384  576  864 1297 1946 2919 4378

times<-Vectorize(rbindtime)(ii)
##elapsed elapsed elapsed elapsed elapsed elapsed elapsed elapsed elapsed elapsed 
##  0.009   0.014   0.026   0.049   0.111   0.209   0.350   0.638   1.378   2.645 
##elapsed elapsed elapsed elapsed elapsed 
##  5.956  17.940  30.446  68.033 164.549 

timeslist<-Vectorize(rbindlisttime)(ii)
##elapsed elapsed elapsed elapsed elapsed elapsed elapsed elapsed elapsed elapsed 
##  0.001   0.001   0.001   0.002   0.002   0.003   0.004   0.008   0.009   0.015 
##elapsed elapsed elapsed elapsed elapsed 
##  0.023   0.031   0.046   0.099   0.249

特に長い入力の場合ははるかに高速であるだけでrbindlistなく、実行時間は線形にしか増加しませんが、do.call(rbind)ほぼ二次的に増加します。これは、log-log 線形モデルを時間の各セットに当てはめることで確認できます。

> lm(log(times) ~ log(ii))

Call:
lm(formula = log(times) ~ log(ii))

Coefficients:
(Intercept)      log(ii)  
      -9.73         1.73  

> lm(log(timeslist) ~ log(ii))

Call:
lm(formula = log(timeslist) ~ log(ii))

Coefficients:
(Intercept)      log(ii)  
   -10.0550       0.9455

したがって、実験的に、 の実行時間は にdo.call(rbind)応じて増加しn^1.73ますrbindlistが、ほぼ線形です。

于 2013-10-03T17:23:00.777 に答える
2

これを試して：

require(data.table)
system.time({
test3 <- do.call("rbind", lapply(filenames, fread, header = TRUE))
            })

あなたは事前割り当てについて言及しました。fread'nrows' 引数はありますが、行数が事前にわかっている場合は、操作が高速化されません (行数自体を事前に自動的にカウントするため、非常に高速です)。

于 2013-10-03T16:33:48.313 に答える