查找与原始重复的行

Question

我可以在data.table dt 上使用R 获得重复的行

dt[duplicated(dt, by=someColumns)] 

但是，我想获得成对的重复行和“非重复行”，例如考虑dt：

col1, col2, col3 
   A     B    C1
   A     B    C2
   A    B1    C1

现在，dt[duplicated(dt, by=c('col1', "col2")) 会给我一些类似的东西

col1, col2, col3
   A     B    C2

我想把它和它没有选择复制的行放在一起，即

col1, col2, col3 
   A     B    C1
   A     B    C2

答案的速度比较：

> system.time(dt[duplicated(dt2, by = t) | duplicated(dt, by = t, fromLast = TRUE)])
   user  system elapsed 
  0.008   0.000   0.009 
> system.time(dt[, .SD[.N > 1], by = t])
   user  system elapsed 
 77.555   0.100  77.703 

Answer 1

我相信这本质上是 this 问题的重复，尽管我可以看到您可能没有找到它...

...这是一个基于引用问题中概述的逻辑的答案：

dt <- read.table(text = "col1 col2 col3 
   A     B    C1
   A     B    C2
   A    B1    C1", header = TRUE, stringsAsFactors = FALSE)


idx <- duplicated(dt[, 1:2]) | duplicated(dt[, 1:2], fromLast = TRUE)

dt[idx, ]
#---
  col1 col2 col3
1    A    B   C1
2    A    B   C2

由于您使用的是data.table，这可能就是您想要的：

library(data.table)
dt <- data.table(dt)
dt[duplicated(dt, by = c("col1", "col2")) | duplicated(dt, by = c("col1", "col2"), fromLast = TRUE)]
#---
   col1 col2 col3
1:    A    B   C1
2:    A    B   C2

Answer 2

您只需使用.N即可轻松实现此目的：

dt[, .SD[.N > 1], by = list(col1, col2)]
##    col1 col2 col3
## 1:    A    B   C1
## 2:    A    B   C2

---

编辑：

您也可以尝试使用非常高效的二分查找，虽然看起来duplicated 仍然更高效

setkey(dt[, indx := .N, by = list(col1, col2)], indx)[!J(1)]
##    col1 col2 col3
## 1:    A    B   C1
## 2:    A    B   C2