r - 関数を使用して複数の for ループを置き換える

Question

誰かがこの例をざっと見て、この問題に取り組むためのより効率的な方法を見つけてくれることを願っていました。シミュレーションを実行して、動物が一連の特定の条件に従ってサイト間をどのように移動するかを調べたいと考えています。私は5つのサイトといくつかの初期確率を持っています.

N<-5 # number of sites
sites<-LETTERS[seq(from=1,to=N)]
to.r<-rbind(sites)

p.move.r<-seq.int(0.05,0.95,by=0.1) # prob of moving to a new site
p.leave<-0.01*p.move.r # prob of leaving the system w/out returning
p.move.out<-0.01*p.move.r # prob of moving in/out
p.stay<-1-(p.move.r+p.leave+p.move.out) # prob of staying in the same site 

この例では、50 個のシミュレーションのみを含めましたが、実際には少なくとも 1000 個のシミュレーションが必要です。

set.seed(13973)

reps<-50 # number of replicates/simulations
steps<-100 # number of time steps (hours, days, weeks, etc)
random<-runif(10000,0,1) # generating numbers from a random distribution

# Construct empty df to fill with data

rep.movements<-matrix(NA,nrow=reps,ncol=steps)
colnames(rep.movements)<-c(1:steps);rownames(rep.movements)<-c(1:reps)

rep.use<-matrix(NA,nrow=reps,ncol=N)
colnames(rep.use)<-c(reefs);rownames(rep.use)<-c(1:reps)

# Outer loop to run each of the initial parameters

for(w in 1:length(p.stay)){
     p.move<-matrix((p.move.r[w]/(N-1)),N,N)
     diag(p.move)<-0

# Construction of distance matrix
move<-matrix(c(0),nrow=(N+2),ncol=(N+2),dimnames=list(c(sites,"NA","left"),c(sites,"NA","left")))
from<-array(0,c((N+2),(N+2)),dimnames=list(c(sites,"NA","left"),c(sites,"NA","left")))
to<-array(0,c((N+2),(N+2)),dimnames=list(c(sites,"NA","left"),c(sites,"NA","left")))

# Filling movement-Matrix construction

for(from in 1:N){
    for(to in 1:N){
      if(from==to){move[from,to]<-p.stay[w]} else {move[from,to]<-p.move[from,to]}
      move[,(N+1)]<-(1-(p.leave[w]+p.move.out[w]))/N
      move[,(N+2)]<-(1-(p.leave[w]+p.move.out[w]))/N
      move[(N+1),]<-p.move.out[w]
      move[(N+2),]<-p.leave[w] 
}

}

アイデアは、この累積確率行列を使用して、乱数に基づいて動物の運命を決定することです。

 cumsum.move<-cumsum(data.frame(move)) # Cumulative sum of probabilities

この累積行列では、文字「A」、「B」、「C」、「D」、および「E」は異なるサイトを表し、「NA」は将来の時間ステップで離れて戻ってくる確率を表し、「離れた」システムを離れて戻ってこない確率を表します。次に、乱数のリストを使用して累積確率行列と比較し、その特定の動物の「運命」を決定します。

for(o in 1:reps){

result<-matrix(as.character(""),steps) # Vector for storing sites
x<-sample(random,steps,replace=TRUE) # sample array of random number 
time.step<-data.frame(x) # time steps used in the simulation (i)
colnames(time.step)<-c("time.step")
time.step$event<-""

j<-sample(1:N,1,replace=T) # first column to be selected 
k<-sample(1:N,1,replace=T) # selection of column for ind. that move in/out  

for(i in 1:steps){
  for (t in 1:(N+1)){
    if(time.step$time.step[i]<cumsum.move[t,j]){
    time.step$event[i]<-to.r[t]
    break
   }
 }

 ifelse(time.step$event[i]=="",break,NA) 
 result[i]<-time.step$event[i]
 j<-which(to.r==result[i]) 
 if(length(j)==0){j<-k} 
}

result<-time.step$event

# calculate frequency/use for each replicate

use<-table(result)
use.tab<-data.frame(use)
use.tab1<-use.tab[-which(use.tab==""),]
mergeuse<-merge(use.tab2,use.tab,all.x=TRUE)
mergeuse[is.na(mergeuse)]<-0

# insert data into empty matrix

rep.movements[o,]<-result
rep.use[o,]<-mergeuse$Freq

}

} 

  # for the outer loop I have some matrices to store the results for each parameter,
  # but for this example this is not important

rep.movements
rep.use

ここで、主な問題は、各初期パラメーター (この例では 10 個の値) についてすべてのシミュレーションを実行するのに時間がかかりすぎることです。すべての初期パラメーターで 1000 シミュレーション / 20 サイトを実行するための、より優れた効率的な方法を見つける必要があります。私は、このタスクを高速化する関数やその他の方法にあまり精通していません。任意のアイデアや推奨事項をいただければ幸いです。

事前にどうもありがとう、

Answer 1

最初にコードを関数でラップしましょう。set.seed結果を再現可能にするコマンドも追加しました。シミュレーションを実行する前に、それらを削除する必要があります。

sim1 <- function(reps=50, steps=100 ) {

  N<-5 # number of sites
  sites<-LETTERS[seq(from=1,to=N)]
  to.r<-rbind(sites)

  p.move.r<-seq.int(0.05,0.90,by=0.05) # prob of moving to a new site
  p.leave<-0.01*p.move.r # prob of leaving the system w/out returning
  p.move.out<-0.01*p.move.r # prob of moving in/out
  p.stay<-1-(p.move.r+p.leave+p.move.out) # prob of staying in the same site 

  set.seed(42)
  random<-runif(10000,0,1) # generating numbers from a random distribution

  cumsum.move <- read.table(text="A         B         C         D         E    NA.   left
                            A    0.0820000 0.3407822 0.6392209 0.3516242 0.3925942 0.1964 0.1964
                            B    0.1254937 0.4227822 0.6940040 0.3883348 0.4196630 0.3928 0.3928
                            C    0.7959865 0.8730183 0.7760040 0.7930623 0.8765180 0.5892 0.5892
                            D    0.8265574 0.8980259 0.8095507 0.8750623 0.9000000 0.7856 0.7856
                            E    0.9820000 0.9820000 0.9820000 0.9820000 0.9820000 0.9820 0.9820
                            NA.   0.9910000 0.9910000 0.9910000 0.9910000 0.9910000 0.9910 0.9910
                            left 1.0000000 1.0000000 1.0000000 1.0000000 1.0000000 1.0000 1.0000",header=TRUE)

  cumsum.move <- as.matrix(cumsum.move)

  for(o in 1:reps){

    result<-matrix(as.character(""),steps) # Vector for storing sites
    set.seed(42)
    x<-sample(random,steps,replace=TRUE) # sample array of random number 
    time.step<-data.frame(x) # time steps used in the simulation (i)
    colnames(time.step)<-c("time.step")
    time.step$event<-""

    set.seed(41)
    j<-sample(1:N,1,replace=T) # first column to be selected 
    set.seed(40)
    k<-sample(1:N,1,replace=T) # selection of column for ind. that move in/out  

    for(i in 1:steps){
      for (t in 1:(N+1)){
        if(time.step$time.step[i]<cumsum.move[t,j]){
          time.step$event[i]<-to.r[t]
          break
        }
      }

      ifelse(time.step$event[i]=="",break,NA) 
      result[i]<-time.step$event[i]
      j<-which(to.r==result[i]) 
      if(length(j)==0){j<-k} 
    }

    result<-time.step$event
  }
  result
}

resulto の反復ごとに が上書きされることに注意してください。私はあなたがそれを望んでいないと思うので、私はそれを修正しました。また、data.frameループ内で使用します。原則としてdata.frames、疫病のようなループ内は避けるべきです。それらは非常に便利ですが、効率の点ではひどいものです。

sim2 <- function(reps=50, steps=100) {

  N<-5 # number of sites
  sites<-LETTERS[seq(from=1,to=N)]
  to.r<-rbind(sites)

  p.move.r<-seq.int(0.05,0.90,by=0.05) # prob of moving to a new site
  p.leave<-0.01*p.move.r # prob of leaving the system w/out returning
  p.move.out<-0.01*p.move.r # prob of moving in/out
  p.stay<-1-(p.move.r+p.leave+p.move.out) # prob of staying in the same site 

  set.seed(42)
  random<-runif(10000,0,1) # generating numbers from a random distribution

  cumsum.move <- read.table(text="A         B         C         D         E    NA.   left
                            A    0.0820000 0.3407822 0.6392209 0.3516242 0.3925942 0.1964 0.1964
                            B    0.1254937 0.4227822 0.6940040 0.3883348 0.4196630 0.3928 0.3928
                            C    0.7959865 0.8730183 0.7760040 0.7930623 0.8765180 0.5892 0.5892
                            D    0.8265574 0.8980259 0.8095507 0.8750623 0.9000000 0.7856 0.7856
                            E    0.9820000 0.9820000 0.9820000 0.9820000 0.9820000 0.9820 0.9820
                            NA.   0.9910000 0.9910000 0.9910000 0.9910000 0.9910000 0.9910 0.9910
                            left 1.0000000 1.0000000 1.0000000 1.0000000 1.0000000 1.0000 1.0000",header=TRUE)

  cumsum.move <- as.matrix(cumsum.move)

  res <- list()
  for(o in 1:reps){

    result<-character(steps) # Vector for storing sites
    set.seed(42)
    time.step<-sample(random,steps,replace=TRUE) # sample array of random number 
    #time.step<-data.frame(x) # time steps used in the simulation (i)
    #colnames(time.step)<-c("time.step")
    #time.step$event<-""
    event <- character(steps)

    set.seed(41)
    j<-sample(1:N,1,replace=T) # first column to be selected 
    set.seed(40)
    k<-sample(1:N,1,replace=T) # selection of column for ind. that move in/out  

    for(i in 1:steps){
      for (t in 1:(N+1)){
        if(time.step[i]<cumsum.move[t,j]){
          event[i]<-to.r[t]
          break
        }
      }

      ifelse(event[i]=="",break,NA) 
      result[i]<-event[i]
      j<-which(to.r==result[i]) 
      if(length(j)==0){j<-k} 
    }

    res[[o]]<-event
  }
  do.call("rbind",res)
}

両方の関数で同じ結果が得られますか?

res1 <- sim1()
res2 <- sim2()
all.equal(res1,res2[1,])
[1] TRUE

新しいバージョンは高速ですか？

library(microbenchmark)
microbenchmark(sim1(),sim2())

Unit: milliseconds
    expr       min        lq    median        uq       max
1 sim1() 204.46339 206.58508 208.38035 212.93363 269.41693
2 sim2()  77.55247  78.39698  79.30539  81.73413  86.84398

まあ、係数 3 はすでにかなりいいです。これらの s のため、ループをさらに改善する可能性はあまりありませんbreak。これにより、オプションとして並列化のみが残ります。

sim3 <- function(ncore=1,reps=50, steps=100) {
  require(foreach)
  require(doParallel)


  N<-5 # number of sites
  sites<-LETTERS[seq(from=1,to=N)]
  to.r<-rbind(sites)

  p.move.r<-seq.int(0.05,0.90,by=0.05) # prob of moving to a new site
  p.leave<-0.01*p.move.r # prob of leaving the system w/out returning
  p.move.out<-0.01*p.move.r # prob of moving in/out
  p.stay<-1-(p.move.r+p.leave+p.move.out) # prob of staying in the same site 

  set.seed(42)
  random<-runif(10000,0,1) # generating numbers from a random distribution

  cumsum.move <- read.table(text="A         B         C         D         E    NA.   left
                            A    0.0820000 0.3407822 0.6392209 0.3516242 0.3925942 0.1964 0.1964
                            B    0.1254937 0.4227822 0.6940040 0.3883348 0.4196630 0.3928 0.3928
                            C    0.7959865 0.8730183 0.7760040 0.7930623 0.8765180 0.5892 0.5892
                            D    0.8265574 0.8980259 0.8095507 0.8750623 0.9000000 0.7856 0.7856
                            E    0.9820000 0.9820000 0.9820000 0.9820000 0.9820000 0.9820 0.9820
                            NA.   0.9910000 0.9910000 0.9910000 0.9910000 0.9910000 0.9910 0.9910
                            left 1.0000000 1.0000000 1.0000000 1.0000000 1.0000000 1.0000 1.0000",header=TRUE)

  cumsum.move <- as.matrix(cumsum.move)

  #res <- list()
  #for(o in 1:reps){
  cl <- makeCluster(ncore)
  registerDoParallel(cl)
  res <- foreach(1:reps) %dopar% {

    result<-character(steps) # Vector for storing sites
    set.seed(42)
    time.step<-sample(random,steps,replace=TRUE) # sample array of random number 
    #time.step<-data.frame(x) # time steps used in the simulation (i)
    #colnames(time.step)<-c("time.step")
    #time.step$event<-""
    event <- character(steps)

    set.seed(41)
    j<-sample(1:N,1,replace=T) # first column to be selected 
    set.seed(40)
    k<-sample(1:N,1,replace=T) # selection of column for ind. that move in/out  

    for(i in 1:steps){
      for (t in 1:(N+1)){
        if(time.step[i]<cumsum.move[t,j]){
          event[i]<-to.r[t]
          break
        }
      }

      ifelse(event[i]=="",break,NA) 
      result[i]<-event[i]
      j<-which(to.r==result[i]) 
      if(length(j)==0){j<-k} 
    }

    #res[[o]]<-event
    event
  }
  stopCluster(cl)
  do.call("rbind",res)
}

同じ結果？

res3 <- sim3()
all.equal(res1,c(res3[1,]))
[1] TRUE

もっと早く？(私の Mac では 4 コアを使用しましょう。さらにいくつかのコアを備えたサーバーにアクセスしようとするかもしれません。)

microbenchmark(sim1(),sim2(),sim3(4))
Unit: milliseconds
     expr        min         lq     median         uq       max
1  sim1()  202.28200  207.64932  210.32582  212.69869  255.2732
2  sim2()   75.39295   78.95882   80.01607   81.49027  125.0866
3 sim3(4) 1031.02755 1046.41610 1052.72710 1061.74057 1091.2175

それはひどいですね。ただし、テストは並列機能に不公平です。この関数は、50 回のレプリケートのみで 100 回呼び出されます。つまり、並列化のオーバーヘッドはすべて得られますが、それによるメリットはほとんどありません。もっと公平にしましょう：

microbenchmark(sim1(rep=10000),sim2(rep=10000),sim3(ncore=4,rep=10000),times=1)
Unit: seconds
                          expr      min       lq   median       uq      max
1            sim1(rep = 10000) 42.16821 42.16821 42.16821 42.16821 42.16821
2            sim2(rep = 10000) 16.13822 16.13822 16.13822 16.13822 16.13822
3 sim3(ncore = 4, rep = 10000) 38.18873 38.18873 38.18873 38.18873 38.18873

より良いですが、それでも印象的ではありません。レプリケート数とステップ数をさらに増やした場合、並列機能は良さそうですが、それが必要かどうかはわかりません。