3

私はdata.tableRに2つのを持っています：

> tables()
     NAME          NROW   MB COLS                                 KEY       
[1,] dtb      2,536,206   68 dte,permno,capm_beta,mkt_beta_bucket permno,dte
[2,] idx_dtb        573    1 dte                                  dte       
[3,] ssd_dtb 58,808,208 1571 dte,permno,xs_ret,mkt_cap            permno,dte
Total: 1,640MB

右外部結合を実行したい：select * from dtb right join ssd_dtb using (permno, dte)

の同等のコマンドは次のようにdata.tableなります。

mdtb <- dtb[ssd_dtb]

これまでのところ、これは約20分間実行されています。通常、SQLサーバーでの実行にかかる時間が短くなるため、これは少し長いようです。パッケージを誤用していますか？

質問に答えた後に編集する：なぜ私がしなければならdtb[ssd_dtb]なかったのかを理解することが役立つかもしれないと思いましたssd_dtb[dtb]。私は簡単な例を考案しました：

> x <- data.table(id=1:5, t=1:15, v=1:15)
> x
    id  t  v
 1:  1  1  1
 2:  2  2  2
 3:  3  3  3
 4:  4  4  4
 5:  5  5  5
 6:  1  6  6
 7:  2  7  7
 8:  3  8  8
 9:  4  9  9
10:  5 10 10
11:  1 11 11
12:  2 12 12
13:  3 13 13
14:  4 14 14
15:  5 15 15
> y <- data.table(id=c(1,1,2,3), t=c(1,2,6,13), v2=41:44)
> y
   id  t v2
1:  1  1 41
2:  1  2 42
3:  2  6 43
4:  3 13 44

> x[y]
   id  t  v v2
1:  1  1  1 41
2:  1  2 NA 42
3:  2  6 NA 43
4:  3 13 13 44
> x[y, nomatch=0]
   id  t  v v2
1:  1  1  1 41
2:  3 13 13 44
> y[x]
    id  t v2  v
 1:  1  1 41  1
 2:  1  6 NA  6
 3:  1 11 NA 11
 4:  2  2 NA  2
 5:  2  7 NA  7
 6:  2 12 NA 12
 7:  3  3 NA  3
 8:  3  8 NA  8
 9:  3 13 44 13
10:  4  4 NA  4
11:  4  9 NA  9
12:  4 14 NA 14
13:  5  5 NA  5
14:  5 10 NA 10
15:  5 15 NA 15
> y[x, nomatch=0]
   id  t v2  v
1:  1  1 41  1
2:  3 13 44 13

編集2：ソリューション1に対する上記のリクエストの出力は以下のとおりです。

> Rprof（）
> mdtb Rprof（NULL）
> summaryRprof（）
$ by.self
               self.time self.pct total.time total.pct
"[.data.table" 15.36 62.39 24.62 100.00
「.Call」7.9632.337.96 32.33
「pmin」0.923.741.16 4.71
「リスト」0.240.970.24 0.97
「ベクトル」0.140.570.14 0.57

$ by.total
               total.time total.pct self.time self.pct
"[.data.table" 24.62 100.00 15.36 62.39
"[" 24.62 100.00 0.00 0.00
「.Call」7.9632.337.96 32.33
「pmin」1.164.710.92 3.74
「リスト」0.240.970.24 0.97
「ベクトル」0.140.570.14 0.57
「整数」0.140.570.00 0.00

$ sample.interval
[1] 0.02

$ramping.time
[1] 24.62
4

1 に答える 1

5

再現可能な例がなくても推測できる場合は、試してみます。この場合、いくつかのことが思い浮かびます。良い質問。

  1. この場合、ソースに 1 つの TODO があり、大幅な速度低下を引き起こす可能性があります。とはいえ、それがそれほど悪いことだとは知りませんでした。dtbのキーが一意である (つまり、dte各 内で重複していない)ことがわかっている場合permnoは、ここでよくあることですが、それmult="first"を回避するように設定します。あるいはmult="last"同じだろう。グループの開始点と終了点を見つけますが、キーが一意の場合、それらのグループはすべて 1 行にすぎません。

  2. 小さい効果は、あなたの場合にi比べてテーブルが大きいことかもしれませんx。可能であれば、クエリを次の値iよりも小さく並べてみてくださいx。つまりssd_dtb[dtb]、ではなくdtb[ssd_dtb]。の場合は同じnomatch=0です。

1 の回避策が役立つ場合は、次を実行して結果を送信していただければ幸いです。また、bug.report(package="data.table")この質問へのリンクを作成してください。そうすれば、ステータスの変化に応じて自動更新を取得できます。

Rprof()
dtb[ssd_dtb]  # reduce size so that this takes 30 seconds or something manageable
Rprof(NULL)
summaryRprof()

Rprof()
dtb[ssd_dtb,mult="first"]  # should be faster than above if my guess is right
Rprof(NULL)
summaryRprof()
于 2012-08-20T22:32:29.377 に答える