使用 sum、length 和 grep 聚合 data.table答案

【问题标题】：Aggregating data.table with sum, length and grep使用 sum、length 和 grep 聚合 data.table
【发布时间】：2017-10-14 01:26:50
【问题描述】：

让我们制作一个data.table：

dt <- data.table(x.1=1:8, x.2=1:8, x.3=2:9, vessel=rep(letters[1:2], each=4), Year=rep(2012:2015, 2))
dt
   x.1 x.2 x.3 vessel Year
1:   1   1   2      a 2012
2:   2   2   3      a 2013
3:   3   3   4      a 2014
4:   4   4   5      a 2015
5:   5   5   6      b 2012
6:   6   6   7      b 2013
7:   7   7   8      b 2014
8:   8   8   9      b 2015

我可以使用函数 length 和 sum 对其进行聚合，得到每年所有 x 的总和以及每年唯一容器的总和，如下所示：

dt[, 
            list(
  x.1=sum(x.1),
  x.2=sum(x.2),
  x.3=sum(x.3),
  vessels=length(unique(vessel))),
    by=list(Year=Year)]

   Year x.1 x.2 x.3 vessels
1: 2012   6   6   8       2
2: 2013   8   8  10       2
3: 2014  10  10  12       2
4: 2015  12  12  14       2

这就是我想要的，但是在我的真实数据中我有很多列，所以我想使用 grep 或 %like%，但我无法让它工作。我在想一些与此相符的事情：

dt[,grep("x",colnames(dt)),with = FALSE])

但是如何将它与聚合合并？

【问题讨论】：

为了节省打字，你可以写by = Year而不是by=list(Year=dt$Year)。这避免了对dt 的双重引用。
@UweBlock 如果需要更多 by，by=list(Year=dt$Year) 可以更轻松地扩展功能。但我会删除 dt$。

标签： r data.table aggregate

【解决方案1】：

您可以使用 lapply 将函数应用于所有 (.SD) 或多个列（使用 .SDcols 选择）：

dt[, lapply(.SD, sum), by=Year, .SDcols=c("x.1","x.2")]

以下方法也可能适用于选择名称中带有“x”的所有列：

dt[, c(lapply(.SD, sum), vessel=uniqueN(vessel)),
    by=Year,
    .SDcols=grepl("^x", names(dt))
]

【讨论】：

我认为.SDcols 绝对是这里的关键，但我认为dt[, c(lapply(.SD, sum), vessel=uniqueN(vessel)), by=Year, .SDcols=grepl("^x", names(dt))] 可能会给出OP 要求的确切结果
@thelatemail 请作为答案发布，然后我会接受它:)
仅供参考，grep(patt, x, value=TRUE) 应该与 x[grep(patt, x)] 相同
我用 thelatemail 的建议更正了答案。 @thelatemail，如果您想获得荣誉，请随时发布您自己的答案。
@Stefan - 一切都好 - 我已经有很多虚构的互联网点 :-)

【解决方案2】：

如果您有很多列要聚合，可能值得考虑使用 melt() 将数据从宽格式重新调整为长格式并使用 dcast() 进行聚合：

molten <- melt(dt, id.vars = c("Year", "vessel"))

molten
#    Year vessel variable value
# 1: 2012      a      x.1     1
# 2: 2013      a      x.1     2
# 3: 2014      a      x.1     3
# 4: 2015      a      x.1     4
# 5: 2012      b      x.1     5
# ...
#19: 2014      a      x.3     4
#20: 2015      a      x.3     5
#21: 2012      b      x.3     6
#22: 2013      b      x.3     7
#23: 2014      b      x.3     8
#24: 2015      b      x.3     9
#    Year vessel variable value

dcast(molten, Year ~ variable, sum)
#   Year x.1 x.2 x.3
#1: 2012   6   6   8
#2: 2013   8   8  10
#3: 2014  10  10  12
#4: 2015  12  12  14

现在，每年的船只数量

dt[, .(vessels = uniqueN(vessel)), Year]
#   Year vessels
#1: 2012       2
#2: 2013       2
#3: 2014       2
#4: 2015       2

最后需要使用 join 附加：

dcast(molten, Year ~ variable, sum)[dt[, .(vessels = uniqueN(vessel)), Year], on = "Year"]
#   Year x.1 x.2 x.3 vessels
#1: 2012   6   6   8       2
#2: 2013   8   8  10       2
#3: 2014  10  10  12       2
#4: 2015  12  12  14       2

提示

melt() 的measure.vars 参数允许定义/选择/限制相关的度量列。
dcast() 的 subset 参数允许选择或排除特定的度量变量
dcast()中可以使用多个聚合函数

这允许做一些花哨的事情，例如：

dcast(molten, Year ~ variable, list(mean, sum, max), subset = .(variable == "x.2")
      )[dt[, .(vessels = uniqueN(vessel)), Year], on = "Year"]
#   Year value_mean_x.2 value_sum_x.2 value_max_x.2 vessels
#1: 2012              3             6             5       2
#2: 2013              4             8             6       2
#3: 2014              5            10             7       2
#4: 2015              6            12             8       2

【讨论】：

【解决方案3】：

如果你真的需要它来提高效率：

> dt[, .SD
     ][, .N, .(vessel, Year)
     ][, .N, .(Year)
     ][, copy(dt)[.SD, vessels := i.N, on='Year']
     ][, vessel := NULL
     ][, melt(.SD, id.vars=c('Year', 'vessels'))
     ][, .(value=sum(value)), .(Year, vessels, variable)
     ][, dcast(.SD, ... ~ variable, value.var='value')
     ][, setcolorder(.SD, c(setdiff(colnames(.SD), 'vessels'), 'vessels'))
     ][order(Year)
     ]

   Year x.1 x.2 x.3 vessels
1: 2012   6   6   8       2
2: 2013   8   8  10       2
3: 2014  10  10  12       2
4: 2015  12  12  14       2
>

【讨论】：

【解决方案4】：

我没听懂你的问题，但是你想用 grep 做什么可以用这样的东西来解决

dt <- data.frame(x.1=1:8, x.2=1:8, x.3=2:9, vessel=rep(letters[1:2], each=4), Year=rep(2012:2015, 2))
dt
dt[unlist(lapply(colnames(dt),function(v){grepl("x",v)}))]

然后在您过滤的数据库上，您可以做您想做的事

【讨论】：