214

の参照渡しプロパティを理解するのに少し問題がありdata.tableます。一部の操作は参照を「壊す」ように見えますが、何が起こっているのかを正確に理解したいと思います。

data.table別のテーブルからを作成するとdata.table（を介して<-、新しいテーブルを更新する:=と、元のテーブルも変更されます。これは、次のように予想されます。

?data.table::copy およびstackoverflow：pass-by-reference-the-operator-in-the-data-table-package

次に例を示します。

library(data.table)

DT <- data.table(a=c(1,2), b=c(11,12))
print(DT)
#      a  b
# [1,] 1 11
# [2,] 2 12

newDT <- DT        # reference, not copy
newDT[1, a := 100] # modify new DT

print(DT)          # DT is modified too.
#        a  b
# [1,] 100 11
# [2,]   2 12

ただし、割り当てと上記の行:=の間に非ベースの変更を挿入すると、変更されなくなりました。<-:=DT

DT = data.table(a=c(1,2), b=c(11,12))
newDT <- DT        
newDT$b[2] <- 200  # new operation
newDT[1, a := 100]

print(DT)
#      a  b
# [1,] 1 11
# [2,] 2 12

したがって、このnewDT$b[2] <- 200行はどういうわけか参照を「壊す」ようです。これはどういうわけかコピーを呼び出すと思いますが、コードに潜在的なバグを導入しないように、Rがこれらの操作をどのように処理しているかを完全に理解したいと思います。

誰かが私にこれを説明してくれたらとてもありがたいです。

4

2 に答える 2

149

はい、オブジェクト全体のコピーを作成するのは、<-（または=または）を使用したRのサブ割り当てです。以下のように、とを使用してそれを追跡できます。機能と、それらが渡されるオブジェクトへの参照による割り当て。したがって、そのオブジェクトが以前に（サブ割り当てまたは明示的に）コピーされた場合、参照によって変更されるのはそのコピーです。->tracemem(DT).Internal(inspect(DT))data.table:=set()<-copy(DT)

DT <- data.table(a = c(1, 2), b = c(11, 12)) 
newDT <- DT 

.Internal(inspect(DT))
# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)
#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2
#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,12
# ATTRIB:  # ..snip..

.Internal(inspect(newDT))   # precisely the same object at this point
# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)
#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2
#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,12
# ATTRIB:  # ..snip..

tracemem(newDT)
# [1] "<0x0000000003b7e2a0"

newDT$b[2] <- 200
# tracemem[0000000003B7E2A0 -> 00000000040ED948]: 
# tracemem[00000000040ED948 -> 00000000040ED830]: .Call copy $<-.data.table $<- 

.Internal(inspect(DT))
# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),TR,ATT] (len=2, tl=100)
#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2
#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,12
# ATTRIB:  # ..snip..

.Internal(inspect(newDT))
# @0000000003D97A58 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)
#   @00000000040ED7F8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2
#   @00000000040ED8D8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,200
# ATTRIB:  # ..snip..

a変更されていない場合でも、ベクトルがどのようにコピーされたか（異なる16進値はベクトルの新しいコピーを示します）に注意してくださいa。b変更が必要な要素を変更するだけでなく、全体もコピーされました。これは、大規模なデータでは避けることが重要であり、その理由:=とset()がに導入されましたdata.table。

これで、コピーしnewDTたものを参照して変更できます。

newDT
#      a   b
# [1,] 1  11
# [2,] 2 200

newDT[2, b := 400]
#      a   b        # See FAQ 2.21 for why this prints newDT
# [1,] 1  11
# [2,] 2 400

.Internal(inspect(newDT))
# @0000000003D97A58 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)
#   @00000000040ED7F8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2
#   @00000000040ED8D8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,400
# ATTRIB:  # ..snip ..

3つの16進値すべて（列ポイントのベクトル、および2つの列のそれぞれ）は変更されないことに注意してください。それで、それは全くコピーなしで参照によって本当に修正されました。

または、DT参照によってオリジナルを変更できます：

DT[2, b := 600]
#      a   b
# [1,] 1  11
# [2,] 2 600

.Internal(inspect(DT))
# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)
#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2
#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,600
#   ATTRIB:  # ..snip..

これらの16進値は、DT上記で見た元の値と同じです。example(copy)を使用して他の例を入力しtracemem、と比較しdata.frameます。

ところで、あなたがそうするならtracemem(DT)、DT[2,b:=600]あなたは1つのコピーが報告されるのを見るでしょう。printこれは、メソッドが実行する最初の10行のコピーです。関数またはスクリプトでラップされたinvisible()場合、または関数またはスクリプト内で呼び出された場合、printメソッドは呼び出されません。

これはすべて関数内にも当てはまります。つまり、関数内であっても、書き込み時にコピー:=しset()ないでください。ローカルコピーを変更する必要がある場合x=copy(x)は、関数の開始時に呼び出します。ただし、大きなデータの場合は覚えておいてdata.tableください（また、小さなデータの場合はプログラミングの利点が速くなります）。意図的に大きなオブジェクトをコピーしたくありません（これまで）。結果として、通常の3*ワーキングメモリファクターの経験則を考慮する必要はありません。1列の作業メモリーのみが必要になるようにします（つまり、作業メモリー係数は3ではなく1 / ncolです）。

于 2012-04-19T10:49:24.990 に答える
113

簡単にまとめます。

<-withdata.tableはベースと同じです。つまり、後でサブ割り当てが行われるまで<-（列名の変更やなどの要素の変更などDT[i,j]<-v）、コピーは作成されません。次に、ベースと同じようにオブジェクト全体のコピーを取ります。これは、コピーオンライトとして知られています。コピーオンサブアサインとしてよく知られていると思います！:=特殊演算子、またはset*によって提供される関数を使用する場合はコピーされませんdata.table。大きなデータがある場合は、代わりにそれらを使用することをお勧めします。関数内であっても、をコピー:=しset*ません。data.table

この例のデータを考えると：

DT <- data.table(a=c(1,2), b=c(11,12))

DT2以下は、現在その名前にバインドされている同じデータオブジェクトに別の名前を「バインド」するだけDTです。

DT2 <- DT

これは決してコピーせず、ベースでもコピーしません。DT22つの異なる名前（およびDT）が同じオブジェクトを指していることをRが認識できるように、データオブジェクトにマークを付けるだけです。したがって、Rは、どちらかが後でサブ割り当てされた場合、オブジェクトをコピーする必要があります。

それもぴったりですdata.table。それ:=をするためではありません。:=したがって、オブジェクト名をバインドするだけではないので、以下は意図的なエラーです。

DT2 := DT    # not what := is for, not defined, gives a nice error

:=参照によるサブ割り当て用です。しかし、あなたはベースで使用するようにそれを使用しません：

DT[3,"foo"] := newvalue    # not like this

あなたはこのようにそれを使用します：

DT[3,foo:=newvalue]    # like this

それはDT参照によって変更されました。データオブジェクトを参照して新しい列を追加するnewとします。これを行う必要はありません。

DT <- DT[,new:=1L]

RHSはすでにDT参照により変更されているためです。余分なのDT <-は、何をするのかを誤解すること:=です。そこに書くことはできますが、余計です。

DT参照により:=、関数内でも変更されます：

f <- function(X){
    X[,new2:=2L]
    return("something else")
}
f(DT)   # will change DT

DT2 <- DT
f(DT)   # will change both DT and DT2 (they're the same data object)

data.table大規模なデータセット用です。覚えておいてください。20GBdata.tableのメモリがある場合は、これを行う方法が必要です。これは、の非常に慎重な設計上の決定ですdata.table。

もちろん、コピーを作成することもできます。copy()次の関数を使用して、20GBのデータセットをコピーすることを確認することをdata.tableに伝える必要があります。

DT3 <- copy(DT)   # rather than DT3 <- DT
DT3[,new3:=3L]     # now, this just changes DT3 because it's a copy, not DT too.

コピーを避けるために、基本タイプの割り当てまたは更新を使用しないでください。

DT$new4 <- 1L                 # will make a copy so use :=
attr(DT,"sorted") <- "a"      # will make a copy use setattr()

参照によって更新していることを確認したい場合.Internal(inspect(x))は、構成要素のメモリアドレス値を確認してください（Matthew Dowleの回答を参照）。

そのように書くこと:=で、グループごとの参照によるサブ割り当てが可能になります。グループごとの参照により、新しい列を追加できます。だから、そのように内部で行われるのはそのためです：j:=[...]

DT[, newcol:=mean(x), by=group]
于 2013-01-12T11:52:14.317 に答える