0

すべての行にユーザー ID に対応するdataframe値があり、複数の行が同じ uid を持つことができます。各 uiduidの行のランダム サンプルのみを含む新しいデータフレームを作成したいと考えています。x

私はこの関数を書きました：

trim <- function(df, max){
    data.by.user <- split(df, df$uid) #split the dataframe by user
    output <- NULL
    lapply(data.by.user, function(x){

        #length(x$tid) = number of rows for that user

        if(is.null(output){
            if(length(x$tid) <= max){
                output <<- x
            }
            }else{
                output <<- x[sample(nrow(x), size = max),]
            }
        }else if (length(x$tid) <= max){
            output <<- rbind(output, x)
        }else{
            output <<- rbind(output, x[sample(nrow(x), size=max),]) #sample 'max' rows from x
        }
    })
    return(output)
}

しかし、データフレーム (数百万行) で試してみると、

d <- trim(old_df, 200)

メモリが不足し、メモリの合計割り当てに達したという警告とともにこのエラーが発生します。

Error: cannot allocate vector of size 442 Kb

これを達成するためのよりメモリ効率の良い方法はありますか?

4

2 に答える 2

0

サンプル サイズをさまざまな層 (この場合は列 "uid"、私の例では "cyl") で変化させたい場合、および次のようなサイズのデータ​​フレームがある場合:

sizes <- data.frame(cyl=c(4,6,8), size=c(2,333,4))

> sizes
  cyl size
1   4    2
2   6  333
3   8    4

次に、この呼び出しを使用してサンプルを実行できます。これにより、各層の行数よりも大きいサンプル サイズは無視されます。

Reduce(rbind, by(mtcars, mtcars$cyl, function(d)
       d[sample(nrow(d), min(with(sizes, size[cyl==unique(d$cyl)]), nrow(d))),]))

結果：

                     mpg cyl  disp  hp drat    wt  qsec vs am gear carb
Volvo 142E          21.4   4 121.0 109 4.11 2.780 18.60  1  1    4    2
Porsche 914-2       26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
Hornet 4 Drive      21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1
Mazda RX4           21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4
Ferrari Dino        19.7   6 145.0 175 3.62 2.770 15.50  0  1    5    6
Valiant             18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1
Mazda RX4 Wag       21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4
Merc 280C           17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4
Merc 280            19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4
Duster 360          14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
Chrysler Imperial   14.7   8 440.0 230 3.23 5.345 17.42  0  0    3    4
Merc 450SL          17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3
Lincoln Continental 10.4   8 460.0 215 3.00 5.424 17.82  0  0    3    4
于 2013-06-26T18:50:56.540 に答える