3

関連する値を持ついくつかの遺伝子 (newID) で構成される大きなテーブルがあります。一部の遺伝子 (newID) は一意であり、一部は複数のインスタンス (複数の行に表示されます) を持ちます。出現回数が 1 つしかないもの (行) をテーブルから除外するにはどうすればよいですか? 以下の例では、最後の行だけが一意であるため削除されます。

head(exons.s, 10)
                       Row.names exonID    pvalue log2fold.5_t.GFP_t.              newID
1  ENSMUSG00000000001_Gnai3:E001   E001 0.3597070         0.029731989 ENSMUSG00000000001
2  ENSMUSG00000000001_Gnai3:E002   E002 0.6515167         0.028984837 ENSMUSG00000000001
3  ENSMUSG00000000001_Gnai3:E003   E003 0.8957798         0.009665072 ENSMUSG00000000001
4  ENSMUSG00000000001_Gnai3:E004   E004 0.5308266        -0.059273822 ENSMUSG00000000001
5  ENSMUSG00000000001_Gnai3:E005   E005 0.4507640        -0.061276835 ENSMUSG00000000001
6  ENSMUSG00000000001_Gnai3:E006   E006 0.5147357        -0.068357886 ENSMUSG00000000001
7  ENSMUSG00000000001_Gnai3:E007   E007 0.5190718        -0.063959853 ENSMUSG00000000001
8  ENSMUSG00000000001_Gnai3:E008   E008 0.8999434         0.032186993 ENSMUSG00000000001
9  ENSMUSG00000000001_Gnai3:E009   E009 0.5039369         0.133313175 ENSMUSG00000000001
10  ENSMUSG00000000003_Pbsn:E001   E001        NA                  NA ENSMUSG00000000003
> dim(exons.s)
[1] 234385      5

plyr を使用すると、次のようになります。

## remove single exon genes:
multEx <- function(df){
   if (nrow(df) > 1){return(df)}
}

genes.mult.ex <- ddply(exons.s , .(newID), multEx, .parallel=TRUE)

しかし、これは非常に遅いです。これは data.table で簡単にできると思いましたが、わかりません:

exons.s <- data.table(exons.s, key="newID")
x.dt.out <- exons.s[, lapply(.SD, multEx), by=newID]

私はdata.tableが初めてなので、正しい方向へのポインタは大歓迎です。

4

2 に答える 2

5

各グループの行数を示す列を作成してから、サブセット化します。

exons.s[,n:=.N,by=newID]
exons.s[n>1]
于 2013-07-07T10:29:15.237 に答える
2

グループのサイズをカウントする代わりに duplicated() 関数を使用してこれを行う、より簡単で効率的な方法があります。

まず、テスト データセットを生成する必要があります。

# Generate test datasets
smallNumberSampled <- 1e3
largeNumberSampled <- 1e6

smallDataset <- data.table(id=paste('id', 1:smallNumberSampled, sep='_'), value1=sample(x = 1:26, size = smallNumberSampled, replace = T), value2=letters[sample(x = 1:26, size = smallNumberSampled, replace = T)])
largeDataset <- data.table(id=paste('id', 1:largeNumberSampled, sep='_'), value1=sample(x = 1:26, size = largeNumberSampled, replace = T), value2=letters[sample(x = 1:26, size = largeNumberSampled, replace = T)])

# add 2 % duplicated rows:
smallDataset <- rbind(smallDataset, smallDataset[sample(x = 1:nrow(smallDataset), size = nrow(smallDataset)* 0.02)])
largeDataset <- rbind(largeDataset, largeDataset[sample(x = 1:nrow(largeDataset), size = nrow(largeDataset)* 0.02)])

次に、3 つのソリューションを関数として実装します。

# Original suggestion
getDuplicatedRows_Count <- function(dt, columnName) {
    dt[,n:=.N,by=columnName]
    return( dt[n>1] )
}

# Duplicated using subsetting
getDuplicatedRows_duplicated_subset <- function(dt, columnName) {
    # .. means "look up one level"
    return( dt[which( duplicated(dt[, ..columnName]) | duplicated(dt[, ..columnName], fromLast = T)  ),] )
}

# Duplicated using the "by" argument to avoid copying
getDuplicatedRows_duplicated_by <- function(dt, columnName) {
    return( dt[which( duplicated(dt[,by=columnName]) | duplicated(dt[,by=columnName], fromLast = T)  ),] )
}

次に、同じ結果が得られることをテストします

results1 <- getDuplicatedRows_Count     (smallDataset, 'id')
results2 <- getDuplicatedRows_duplicated_subset(smallDataset, 'id')
results3 <- getDuplicatedRows_duplicated_by(smallDataset, 'id')

> identical(results1, results2)
[1] TRUE
> identical(results2, results3)
[1] TRUE

そして、3 つのソリューションの平均パフォーマンスを計測します。

# Small dataset
> system.time( temp <- replicate(n = 100, expr =  getDuplicatedRows_Count            (smallDataset, 'id')) ) / 100
user    system  elapsed 
0.00176 0.00007 0.00186 
> system.time( temp <- replicate(n = 100, expr =  getDuplicatedRows_duplicated_subset(smallDataset, 'id')) ) / 100
user    system  elapsed 
0.00206 0.00005 0.00221 
> system.time( temp <- replicate(n = 100, expr =  getDuplicatedRows_duplicated_by    (smallDataset, 'id')) ) / 100
user    system  elapsed 
0.00141 0.00003 0.00147 

#Large dataset
> system.time( temp <- replicate(n = 100, expr =  getDuplicatedRows_Count            (largeDataset, 'id')) ) / 100
user    system  elapsed 
0.28571 0.01980 0.31022 
> system.time( temp <- replicate(n = 100, expr =  getDuplicatedRows_duplicated_subset(largeDataset, 'id')) ) / 100
user    system  elapsed 
0.24386 0.03596 0.28243 
> system.time( temp <- replicate(n = 100, expr =  getDuplicatedRows_duplicated_by    (largeDataset, 'id')) ) / 100
user    system   elapsed 
0.22080 0.03918  0.26203

これは、特に「by =」オプションが使用されている場合に、 duplicated() アプローチがより適切にスケーリングされることを示しています。

更新: 2014 年 11 月 21 日。同一の出力のテスト (Arun の提案による - ありがとう) は、重複した fromLast が機能しない data.table v 1.9.2 を使用して問題を特定しました。v 1.9.4 に更新して分析をやり直したところ、違いがはるかに小さくなりました。

更新: 2014 年 11 月 26 日。 data.table から列を抽出するための "by=" アプローチを含めてテストしました (Arun が提案したように、信用が得られます)。さらに、ランタイムのテストは、結果の正確性を保証するために 100 回のテストで平均化されました。

于 2014-11-19T14:26:28.380 に答える