【问题标题】:pair-wise duplicate removal from dataframe [duplicate]从数据帧中成对重复删除[重复]
【发布时间】:2014-10-07 12:00:49
【问题描述】:

这似乎是一个简单的问题,但我似乎无法弄清楚。如果两列具有相同的值,我想从数据框 (df) 中删除重复项,即使这些值是 reverse order。我的意思是,假设您有以下数据框:

a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c('A','B','B','C','A','A','B','B')
df <-data.frame(a,b)

  a b
1 A A
2 A B
3 A B
4 B C
5 B A
6 B A
7 C B
8 C B

如果我现在删除重复项,我会得到以下数据框:

df[duplicated(df),]

  a b
3 A B
6 B A
8 C B

但是,我还想删除此数据框中的第 6 行,因为“A”、“B”与“B”、“A”相同。如何自动执行此操作?

理想情况下,我可以指定要比较哪两列,因为数据框可能有不同的列并且可能非常大。

谢谢!

【问题讨论】:

  • 几乎是 stackoverflow.com/q/25145982/817778 的副本 - 唯一的区别是如果您出于某种原因想要留在 data.frame 内(不太可能,特别是考虑到您说您的数据很大,但谁知道)
  • 您没有使用当前代码删除重复项,而是保留了重复项。
  • 我的意思是删除重复只是在两列中保留一个重复模式的出现,这就是我实际上正在做的事情。

标签: r dataframe duplicates


【解决方案1】:

扩展 Ari 的答案,指定列以检查其他列是否也存在:

a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c('A','B','B','C','A','A','B','B')
df <-data.frame(a,b)

df$c = sample(1:10,8)
df$d = sample(LETTERS,8)
df
  a b  c d
1 A A 10 B
2 A B  8 S
3 A B  7 J
4 B C  3 Q
5 B A  2 I
6 B A  6 U
7 C B  4 L
8 C B  5 V

cols = c(1,2)
newdf = df[,cols]
for (i in 1:nrow(df)){
    newdf[i, ] = sort(df[i,cols])
}

df[!duplicated(newdf),]
  a b c d
1 A A 8 X
2 A B 7 L
4 B C 2 P

【讨论】:

  • 这是解决 OP 全部请求的唯一答案
【解决方案2】:

一种解决方法是先对df的每一行进行排序:

for (i in 1:nrow(df))
{
    df[i, ] = sort(df[i, ])
}
df

a b
1 A A
2 A B
3 A B
4 B C
5 A B
6 A B
7 B C
8 B C

此时只需删除重复的元素即可:

df = df[!duplicated(df),]
df
  a b 
1 A A
2 A B
4 B C

正如 cmets 中提到的最新邮件,您的代码实际上保留重复项。您需要使用!duplicated 删除它们。

【讨论】:

  • Ari,您对与 R 相关的问题非常有帮助。感谢您的帮助!
  • OP 说,“理想情况下,我可以指定要比较的两列,因为数据框可能有不同的列并且可能非常大。”我认为这个解决方案没有解决这个问题。
【解决方案3】:

其他答案使用for 循环为每一行分配一个值。如果您有 100 行甚至 1000 行,这不是问题,但如果您有 1M 行的大数据,您将需要等待一段时间。

使用data.table 从other linked answer 窃取,您可以尝试以下操作:

df[!duplicated(data.frame(list(do.call(pmin,df),do.call(pmax,df)))),]

具有更大数据集的比较基准 (df2):

df2 <- df[sample(1:nrow(df),50000,replace=TRUE),]

system.time(
  df2[!duplicated(data.frame(list(do.call(pmin,df2),do.call(pmax,df2)))),]
)
# user  system elapsed 
# 0.07    0.00    0.06 

system.time({
  for (i in 1:nrow(df2))
  {
      df2[i, ] = sort(df2[i, ])
  }
  df2[!duplicated(df2),]
}
)
#   user  system elapsed 
#  42.07    0.02   42.09 

【讨论】:

    【解决方案4】:

    使用apply 将是比循环更好的选择。

    newDf <- data.frame(t(apply(df,1,sort)))
    

    您现在需要做的就是删除重复项。

    newDf <- newDf[!duplicated(newDf),]
    

    【讨论】:

    • Apply 是一个很棒的实用程序。但我认为如果有超过 2 个相关列也需要维护,则需要修改此代码。
    猜你喜欢
    • 2019-06-22
    • 1970-01-01
    • 2017-04-10
    • 1970-01-01
    • 1970-01-01
    • 2013-04-12
    • 1970-01-01
    • 2019-02-28
    相关资源
    最近更新 更多