8

data.tableRで使用する計算に複数のスレッドを利用する方法はありますか? たとえば、私が次のものを持っているとしましょうdata.table:

dtb <- data.table(id=rep(1:10000, 1000), x=1:1e7)
setkey(dtb, id)
f <- function(m) { #some really complicated function }
res <- dtb[,f(x), by=id]

f計算に時間がかかる場合、R をマルチスレッドにする方法はありますか? 速い場合はどうですか、マルチスレッドは役立ちますか、それともほとんどの場合、物事をグループに分割fするのに時間がかかりますか?data.table

4

1 に答える 1

5

これが「マルチスレッド」であるかどうかはわかりませんが、おそらくマルチコア ソリューションを含めるつもりでしたか? もしそうなら、この以前の回答を見てください: "[r] [data.table] parallel" の検索で見つかった R のデータのサブセットによる計算の実行

編集: (4 コア マシンでは速度が 2 倍になりますが、私のシステム モニターは、mclapply通話中に 2 コアしか使用しなかったことを示唆しています。) このスレッドからコピーされたコード: http://r.789695.n4.nabble.com/Access-to -local-variables-in-quot-j-quot-expressions-tt2315330.html#a2315337

 calc.fake.dt.mclapply <- function (dt) {
     mclapply(6*c(1000,1:4,6,8,10),
              function(critical.age) {
                  dt$tmp <-  pmax((dt$age <  critical.age) * dt$x, 0)
                  dt[, cumsum.lag(tmp), by = grp]$V1})
 } 
 mk.fake.df <- function (n.groups=10000, n.per.group=70) {
    data.frame(grp=rep(1:n.groups, each=n.per.group),
               age=rep(0:(n.per.group-1), n.groups),
               x=rnorm(n.groups * n.per.group),
               ## These don't do anything, but only exist to give
               ## the table a similar size to the real data.
               y1=rnorm(n.groups * n.per.group),
               y2=rnorm(n.groups * n.per.group),
               y3=rnorm(n.groups * n.per.group),
               y4=rnorm(n.groups * n.per.group)) } 
 df <- mk.fake.df 
 df <- mk.fake.df()
 calc.fake.dt.lapply <- function (dt) { # use base lapply for testing
     lapply(6*c(1000,1:4,6,8,10),
            function(critical.age) {
                dt$tmp <-  pmax((dt$age <  critical.age) * dt$x, 0)
                dt[, cumsum.lag(tmp), by = grp]$V1})
 } 
 mk.fake.dt <- function (fake.df) {
    fake.dt <- as.data.table(fake.df)
    setkey(fake.dt, grp, age)
    fake.dt
  } 
 dt <- mk.fake.dt()

require(data.table)
dt <- mk.fake.dt(df)

 cumsum.lag <- function (x) {
    x.prev <- c(0, x[-length(x)])
    cumsum(x.prev)
  } 
 system.time(res.dt.mclapply <- calc.fake.dt.mclapply(dt))
  user  system elapsed 
 1.896   4.413   1.210 

system.time(res.dt.lapply   <- calc.fake.dt.lapply(dt))
   user  system elapsed 
  1.391   0.793   2.175
于 2012-08-18T00:13:58.387 に答える