如何根据某些列删除重复行（较短的行）？

Question

假设我有以下df

df <- data.frame(col1 = c(1, 3, 1), col2 = c(2, 4, 2), col3 = c(NA, NA, "c"))
> df
  col1 col2 col3
1    1    2 <NA>
2    3    4 <NA>
3    1    2    c

我的目标是删除基于col1 和col2 的所有重复行，以便较长的行“存活”。在这种情况下，应该删除第一行。我试过了

df[duplicated(df[, 1:2]), ]

但这只给了我第三行（而不是第三行和第二行）。怎么做才合适？

编辑：真正的df 有15 列，其中前13 列用于识别重复项。在最后两列中，大约 2/3 的行填充了 NA（前 13 列不包含任何 NA）。因此，我的示例df 具有误导性，因为要排除两列来识别重复项。我很抱歉。

Answer 1

你可以试试这个：

library(dplyr)
df %>% group_by(col1,col2) %>%
  slice(which.min(is.na(col3)))

或者这个：

df %>%
  group_by(col1,col2) %>%
  arrange(col3) %>%
  slice(1)

# # A tibble: 2 x 3
# # Groups:   col1, col2 [2]
#    col1  col2   col3
#   <dbl> <dbl> <fctr>
# 1     1     2      c
# 2     3     4     NA

通用解决方案

对于最通用的解决方案，col1 的每个值只能有一行，请参阅下面的注释以将 col2 添加到分组变量中。它假定所有NAs 都在右边。

df %>% mutate(nna = df %>% is.na  %>% rowSums) %>%
  group_by(col1) %>%         # or group_by(col1,col2)
  slice(which.min(nna)) %>%
  select(-nna)

Answer 2

df <- data.frame(col1 = c(1, 3, 1), col2 = c(2, 4, 2), col3 = c(NA, NA, "c"))
df <- df[order(df$col3),] 

duplicates <- duplicated(df[,1:2])
duplicates_sub <- subset(df , duplicates == FALSE)  

> duplicates_sub
  col1 col2 col3
3    1    2    c
2    3    4 <NA>

编辑：保留所有非 NA 行

df <- data.frame(col1 = c(1, 3, 1,3, 1), col2 = c(2, 4, 2,4, 2), col3 = c("a", NA, "c",NA, "b"))
df <- df[order(df$col3),] 
duplicates <- duplicated(df[,1:2]) & is.na(df[,3])
duplicates_sub <- subset(df , duplicates == FALSE)  

> duplicates_sub
  col1 col2 col3
1    1    2    a
5    1    2    b
3    1    2    c
2    3    4 <NA>

Answer 3

您可以在删除欺骗之前将 NA 排序到顶部或底部：

# in base, which puts NAs last
odf = df[do.call(order, df), ]
odf[!duplicated(odf[, c("col1", "col2")]), ]

#   col1 col2 col3
# 3    1    2    c
# 2    3    4 <NA>

# or with data.table, which puts NAs first
library(data.table)
DF = setorder(data.table(df))
unique(DF, by=c("col1", "col2"), fromLast=TRUE)

#    col1 col2 col3
# 1:    1    2    c
# 2:    3    4   NA

这种方法不能用于 dplyr，它在 arrange 中不提供“按所有列排序”，在 distinct 中也不提供 fromLast。