R 数据框中的重复数据删除/折叠记录

Question

我有一个由不同个体组成的数据集，其中每个个体都有一个唯一的 ID。每个人都可以在数据集中出现多次，但据我了解，除了一个或两个变量不同（每个人大约有 80 个）之外，数据集中相同用户 ID 的每个条目的值应该相同。

如果可以，我想尝试折叠数据。我的主要障碍是我需要回填的某些空值。我正在寻找一个可以完成重复数据删除的函数，看起来像这样：

# Build sample dataset
df1 = data.frame(id=rep(1:6,2)                 
                ,classA=rep(c('a','b'),6)
                ,classB=rep(c(1001:1006),2)
                )
df1= df1[order(df1$id),]
df1$classC=c('a',NA,'b',NA,NA,NA,'e','d', NA, 'f', NA, NA)
df1[10,"classB"]=NA
df1=df1[df1$id!=6,]

#sample dataset
> df1
   id classA classB classC
1   1      a   1001      a
7   1      a   1001   <NA>
2   2      b   1002      b
8   2      b   1002   <NA>
3   3      a   1003   <NA>
9   3      a   1003   <NA>
4   4      b   1004      e
10  4      b   1004      d
5   5      a   1005   <NA>
11  5      a     NA      f        

# what I'm looking for
> deduplicate(df1, on='id')
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      d
5  4      b   1004      e
6  5      a   1005      f     

Answer 1

这个怎么样？ （使用data.table的解决方案）

require(data.table)
DT <- data.table(df1)
# ignore the warning here...
unique(DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id])

   id classA classB classC
1:  1      a   1001      a
2:  2      b   1002      b
3:  3      a   1003     NA
4:  4      b   1004      e
5:  4      b   1004      d
6:  5      a   1005      f

一些解释：

• by = id 部分将您的 data.table DT 拆分/分组id。
• .SD 是一个只读变量，它会自动为每个 id 一次提取每个拆分/组。
• 因此，我们将DT 拆分为id，对于每个拆分部分，使用lapply（获取每一列）并删除所有NAs。现在，如果您说a, NA，那么NA 将被删除并返回a。但输入的长度为 2 (a, NA)。因此，它会自动回收 a 以适应大小 (=2)。所以，基本上我们用一些已经存在的值替换所有的 NA。当两者都是NA（如NA, NA）时，NAs 将被返回（再次通过回收）。
• 如果你看这部分DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id]，你应该能明白做了什么。每个NA 都将被替换。所以，我们需要做的就是提取unique 行。这就是为什么它用unique 包裹起来。

希望这会有所帮助。您必须进行一些实验才能更好地理解。我建议从这里开始：DT[, print(.SD), by=id]

---

最终解决方案：

我刚刚意识到，如果您有 id=4 的另一行与 classC = NA （其他一切都相同），则上述解决方案将不起作用。这是由于回收问题。这段代码应该可以修复它。

unique(DT[, lapply(.SD, function(x) {x[is.na(x)] <- x[!is.na(x)][1]; x}), by = id])

Answer 2

我会，首先检查是否有重复的行 id 和 missing classC 并像这样删除它们：

dd <- df1[duplicated(df1[,1]) & is.na(df1$classC), ]
df1[setdiff(rownames(df1), rownames(dd)), ]
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      e
8  4      b   1004      d

编辑

我认为将以上内容概括为许多列，一个想法是使用melt 将您的数据以长格式放置，例如：

library(reshape2)
dat.m  <- melt(df1,id.vars='id')
dd <- dat.m[order(dat.m$id),]
rr <- dd[duplicated(dd$id) & is.na(dd$value),]
kk <- dd[setdiff(rownames(dd), rownames(rr)), ]
kk <- kk[!duplicated(kk),]
dcast(kk,id~variable,drop=FALSE,fun.aggregate=list,fill=list(NA))
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003     NA
4  4      b   1004   e, d
5  5      a   1005      f

最终结果与您想要的输出略有不同，但您可以通过一些工作（例如 strsplit）得到它。