192

CSVファイルを R data.frame に読み込みました。一部の行では、列の 1 つに同じ要素が含まれています。その列で重複している行を削除したいと思います。例えば：

platform_external_dbus          202           16                     google        1
platform_external_dbus          202           16         space-ghost.verbum        1
platform_external_dbus          202           16                  localhost        1
platform_external_dbus          202           16          users.sourceforge        8
platform_external_dbus          202           16                    hughsie        1

他の行は最初の列に同じデータがあるため、これらの行の 1 つだけが必要です。

4

11 に答える 11

247

重複行の削除に関する一般的な回答を探すためにここに来た人は、次を使用して!duplicated()ください。

a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

duplicated(df)
[1] FALSE  TRUE FALSE FALSE FALSE  TRUE FALSE  TRUE

> df[duplicated(df), ]
  a b
2 A 1
6 B 1
8 C 2

> df[!duplicated(df), ]
  a b
1 A 1
3 A 2
4 B 4
5 B 1
7 C 2

回答: R データ フレームから重複した行を削除する

于 2014-02-24T12:07:57.670 に答える
216

データフレームを必要な列に分離してから、独自の関数を使用してください:D

# in the above example, you only need the first three columns
deduped.data <- unique( yourdata[ , 1:3 ] )
# the fourth column no longer 'distinguishes' them, 
# so they're duplicates and thrown out.
于 2012-12-20T07:21:56.233 に答える
30

このdata.tableパッケージには、いくつかの追加機能を備えた独自のメソッドもuniqueあります。duplicated

unique.data.tableメソッドとメソッドの両方にduplicated.data.table追加のby引数があり、それぞれ列名またはその位置のcharacterまたはintegerベクトルを渡すことができます

library(data.table)
DT <- data.table(id = c(1,1,1,2,2,2),
                 val = c(10,20,30,10,20,30))

unique(DT, by = "id")
#    id val
# 1:  1  10
# 2:  2  10

duplicated(DT, by = "id")
# [1] FALSE  TRUE  TRUE FALSE  TRUE  TRUE

これらのメソッドのもう 1 つの重要な機能は、大規模なデータ セットでパフォーマンスが大幅に向上することです。

library(microbenchmark)
library(data.table)
set.seed(123)
DF <- as.data.frame(matrix(sample(1e8, 1e5, replace = TRUE), ncol = 10))
DT <- copy(DF)
setDT(DT)

microbenchmark(unique(DF), unique(DT))
# Unit: microseconds
#       expr       min         lq      mean    median        uq       max neval cld
# unique(DF) 44708.230 48981.8445 53062.536 51573.276 52844.591 107032.18   100   b
# unique(DT)   746.855   776.6145  2201.657   864.932   919.489  55986.88   100  a 


microbenchmark(duplicated(DF), duplicated(DT))
# Unit: microseconds
#           expr       min         lq       mean     median        uq        max neval cld
# duplicated(DF) 43786.662 44418.8005 46684.0602 44925.0230 46802.398 109550.170   100   b
# duplicated(DT)   551.982   558.2215   851.0246   639.9795   663.658   5805.243   100  a
于 2016-03-17T11:01:33.693 に答える
11

一般的な答えは、たとえば次のようになります。

df <-  data.frame(rbind(c(2,9,6),c(4,6,7),c(4,6,7),c(4,6,7),c(2,9,6))))



new_df <- df[-which(duplicated(df)), ]

出力：

      X1 X2 X3
    1  2  9  6
    2  4  6  7
于 2017-12-23T10:54:18.410 に答える
6

とsqldf:

# Example by Mehdi Nellen
a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

解決：

 library(sqldf)
    sqldf('SELECT DISTINCT * FROM df')

出力：

  a b
1 A 1
2 A 2
3 B 4
4 B 1
5 C 2
于 2015-06-24T10:46:38.310 に答える
3

または、列 4 と列 5 のデータを次のように 1 つの行にネストできますtidyr。

library(tidyr)
df %>% nest(V4:V5)

# A tibble: 1 × 4
#                      V1    V2    V3             data
#                  <fctr> <int> <int>           <list>
#1 platform_external_dbus   202    16 <tibble [5 × 2]>

列 2 と 3 の重複は統計分析のために削除されましたが、列 4 と 5 のデータは tibble に保持されており、いつでも元のデータ フレームに戻ることができますunnest()。

于 2016-10-22T11:16:27.123 に答える