按每组中的最大值过滤数据帧[重复]

Question

我有一个 180,000 x 400 的数据框，其中的行对应于用户，但每个用户正好有两行。

id   date  ...
1    2012    ...
3    2010    ...
2    2013    ...
2    2014    ...
1    2011    ...
3    2014    ...

我想对数据进行子集化，以便只保留每个用户的最新行（即每个 id 的日期值最高的行）。

我首先尝试在sapply() 中使用which() 循环ids 和ifelse() 语句，这非常慢（我相信O(n^2)）。

然后我尝试按id 对df 进行排序，然后以两个为增量循环并比较相邻日期，但这也很慢（我猜是因为R 中的循环是没有希望的）。两个日期的比较是瓶颈，因为排序几乎是即时的。

有没有办法对比较进行矢量化？

来自Remove duplicates keeping entry with largest absolute value的解决方案

aa <- df[order(df$id, -df$date), ] #sort by id and reverse of date
aa[!duplicated(aa$id),]

跑得很快！！

Answer 1

这是一个使用 data.table 包的简单快速的方法

library(data.table)
setDT(df)[, .SD[which.max(date)], id]
#    id date
# 1:  1 2012
# 2:  3 2014
# 3:  2 2014

或者（由于 keyed by

可能会更快一些

setkey(setDT(df), id)[, .SD[which.max(date)], id]

或者通过 data.table 包使用 OPs 想法

unique(setorder(setDT(df), id, -date), by = "id")

或者

setorder(setDT(df), id, -date)[!duplicated(id)]

或基础 R 解决方案

with(df, tapply(date, id, function(x) x[which.max(x)]))
##    1    2    3 
## 2012 2014 2014 

另一种方式

library(dplyr)
df %>%
  group_by(id) %>%
  filter(date == max(date)) # Will keep all existing columns but allow multiple rows in case of ties
# Source: local data table [3 x 2]
# Groups: id
# 
#   id date
# 1  1 2012
# 2  2 2014
# 3  3 2014

或者

df %>%
  group_by(id) %>%
  slice(which.max(date)) # Will keep all columns but won't return multiple rows in case of ties

或者

df %>%
  group_by(id) %>%
  summarise(max(date)) # Will remove all other columns and wont return multiple rows in case of ties

Answer 2

聚合也应该起作用：

aggregate(date ~ id, df, max)