18

数値ベクトルをインデックスベクトルで分割し、そのパーティション内のすべての数値の合計を見つけてから、個々のエントリをそのパーティションの合計で割るという慣用的な方法をRで見つけようとしています。言い換えれば、私がこれから始める場合： 

df <- data.frame(x = c(1,2,3,4,5,6), index = c('a', 'a', 'b', 'b', 'c', 'c'))

出力にベクトルを作成させたい（zと呼びましょう）：

c(1/(1+2), 2/(1+2), 3/(3+4), 3/(3+4), 5/(5+6), 6/(5+6))

これをSQLで実行していて、ウィンドウ関数を使用できる場合は、次のようにします。

select 
 x / sum(x) over (partition by index) as z 
from df

plyrを使用している場合は、次のようにします。

ddply(df, .(index), transform, z = x / sum(x))

しかし、mapply/aggregateなどの標準的なR関数型プログラミングツールを使用してそれを行う方法を知りたいです。

4

3 に答える 3

26

さらに別のオプションはaveです。適切な方法として、上記の回答を収集し、それらの出力を同等（ベクトル）にするために最善を尽くし、サンプルデータを入力として使用して1000回を超える実行のタイミングを提供しました。aveまず、 ：を使用した私の答えave(df$x, df$index, FUN = function(z) z/sum(z))。パッケージを使用した例も示しdata.tableます。これは通常、非常に高速であるためですが、基本的なソリューションを探していることはわかっているので、必要に応じて無視してかまいません。

そして今、たくさんのタイミング：

library(data.table)
library(plyr)
dt <- data.table(df)

plyr <- function() ddply(df, .(index), transform, z = x / sum(x))
av <- function() ave(df$x, df$index, FUN = function(z) z/sum(z))
t.apply <- function() unlist(tapply(df$x, df$index, function(x) x/sum(x)))
l.apply <- function() unlist(lapply(split(df$x, df$index), function(x){x/sum(x)}))
b.y <- function() unlist(by(df$x, df$index, function(x){x/sum(x)}))
agg <- function() aggregate(df$x, list(df$index), function(x){x/sum(x)})
d.t <- function() dt[, x/sum(x), by = index]

library(rbenchmark)
benchmark(plyr(), av(), t.apply(), l.apply(), b.y(), agg(), d.t(), 
           replications = 1000, 
           columns = c("test", "elapsed", "relative"),
           order = "elapsed")
#-----

       test elapsed  relative
4 l.apply()   0.052  1.000000
2      av()   0.168  3.230769
3 t.apply()   0.257  4.942308
5     b.y()   0.694 13.346154
6     agg()   1.020 19.615385
7     d.t()   2.380 45.769231
1    plyr()   5.119 98.442308

この場合、lapply()ソリューションは成功しているようで、data.table()驚くほど遅いです。これがより大きな集計問題にどのようにスケーリングするかを見てみましょう。

df <- data.frame(x = sample(1:100, 1e5, TRUE), index = gl(1000, 100))
dt <- data.table(df)

#Replication code omitted for brevity, used 100 replications and dropped plyr() since I know it 
#will be slow by comparison:
       test elapsed  relative
6     d.t()   2.052  1.000000
1      av()   2.401  1.170078
3 l.apply()   4.660  2.270955
2 t.apply()   9.500  4.629630
4     b.y()  16.329  7.957602
5     agg()  20.541 10.010234

それは私が期待するものとより一致しているようです。

要約すると、あなたにはたくさんの良い選択肢があります。集計タスクがどのように機能するかについてのメンタルモデルで機能する1つまたは2つの方法を見つけて、その機能を習得します。猫の皮を剥ぐ方法はたくさんあります。

編集-および1e7行の例

おそらくマットには十分な大きさではありませんが、私のラップトップがクラッシュせずに処理できる大きさです。

df <- data.frame(x = sample(1:100, 1e7, TRUE), index = gl(10000, 1000))
dt <- data.table(df)
#-----
       test elapsed  relative
6     d.t()    0.61  1.000000
1      av()    1.45  2.377049
3 l.apply()    4.61  7.557377
2 t.apply()    8.80 14.426230
4     b.y()    8.92 14.622951
5     agg()   18.20 29.83606
于 2012-05-25T04:28:30.167 に答える
8

単一のベクトルのみを操作していて、単一のインデックスベクトルのみが必要な場合、tapplyは非常に高速です

dat <- 1:6
lev <- rep(1:3, each = 2)
tapply(dat, lev, function(x){x/sum(x)})
#$`1`
#[1] 0.3333333 0.6666667
#
#$`2`
#[1] 0.4285714 0.5714286
#
#$`3`
#[1] 0.4545455 0.5454545
#
unlist(tapply(dat, lev, function(x){x/sum(x)}))
#       11        12        21        22        31        32 
#0.3333333 0.6666667 0.4285714 0.5714286 0.4545455 0.5454545
于 2012-05-25T04:00:58.673 に答える
8

他の3つのアプローチも同様です。

dat <- 1:6
lev <- rep(1:3, each = 2)

lapply(split(dat, lev), function(x){x/sum(x)})
by(dat, lev, function(x){x/sum(x)})
aggregate(dat, list(lev), function(x){x/sum(x)})
于 2012-05-25T04:22:15.227 に答える