使用 data.tables，尝试按列索引聚合数据

Question

我在使用 data.table 包时遇到了一些问题。我正在使用这个包，因为它在内存方面似乎非常快速和高效，并且它可以处理非常大的数据集（~ 6m x 300）。

所以，基本上我遇到的问题的一个例子是：

AA <- matrix(runif(50,0,100), 10,5)
AA <- data.table(AA)
colnames(AA) <- c("one","two","three","four","five")
AA[,"key"] <- c(1:10)
setkey(AA,key)

BB <- matrix(c("A1","A1","B1","A1","C1","F1","T1","Y1","S1","S1","B2","C2","V2","G2","R2","U2","P2","Q2","A2","R2"),10,2)
BB <- data.table(BB)
BB[,"key"] <- c(1:10)
setkey(BB,key)

CC <- AA[BB]

这给出了以下内容

> CC
  key       one       two     three     four     five V1 V2
 [1,]   1 70.528360  7.901987 66.827238 44.51487 26.22273 A1 B2
 [2,]   2 38.560889 31.808611  7.877950 34.51093 51.27989 A1 C2
 [3,]   3 70.164154 16.636281 59.127573 79.95673 19.07643 B1 V2
 [4,]   4 82.019267 86.958215  3.335632 44.19048 46.29047 A1 G2
 [5,]   5 24.980403 25.352212 78.240760 93.69818 46.64401 C1 R2
 [6,]   6  1.062644 30.214449 15.920193 35.15496 97.86995 F1 U2
 [7,]   7  5.242374 47.591899 56.879902 70.05319 82.48689 T1 P2
 [8,]   8 69.646271 69.576102 38.766948 38.62866 74.69404 Y1 Q2
 [9,]   9 25.335255 54.638416  5.777238 80.87692 34.11951 S1 A2
[10,]  10 54.844424 18.645826 59.370042 48.24352 84.02630 S1 R2

我要做的是按 V1 和 V2 聚合数据

> CC[,length(one), by=V1]
     V1 V1.1
[1,] A1    3
[2,] B1    1
[3,] C1    1
[4,] F1    1
[5,] T1    1
[6,] Y1    1
[7,] S1    2

> CC[,length(one), by=V2]
  V2 V1
[1,] B2  1
[2,] C2  1
[3,] V2  1
[4,] G2  1
[5,] R2  2
[6,] U2  1
[7,] P2  1
[8,] Q2  1
[9,] A2  1

我遇到的问题是，如果我不明确知道要聚合的列的名称，或者如果我想循环通过 100 列得到 100 个不同的聚合，我该怎么做？

data.table 参考手册说它的工作方式是因为变量在数据表的范围内引用，所以 CC[, V1] 将给出一列，而 CC[, "V1"] 获胜不。它说你可以使用类似的东西

x <- quote(V1)
CC[,length(one), by=eval(x)]

但这似乎不起作用，我尝试了一些方法，例如在向量中设置变量名称以及 quote()、noquote()、enquote() 的各种组合，但我似乎无法看看有没有可能。

如何将其设置为循环遍历列名列表，这些列名按每个列名聚合？

如果没有，有没有更好的方法来快速聚合这样的大型数据集？

谢谢。

Answer 1

我不确定你到底想要什么——我认为你可能需要想出一个更好的例子来说明你正在尝试做什么。

例如，您可以在by 中传入一个字符向量，这样就可以了：

agg.by <- "V1"
CC[, length(one), by=agg.by]

如果您想汇总子集中的“未知”列，可以lapply 覆盖每个聚合范围内的.SD data.table，例如：

CC[, lapply(.SD, mean), by=agg.by]

如果您只是汇总原始 data.table 中的几列，请使用 .SDcols 参数，例如：

CC[, lapply(.SD, mean), by=agg.by, .SDcols=c('one', 'two')]

我认为上述的某种组合可以解决您提出的问题，但我很难准确理解您的目标。

如果您能提供更多示例数据和预期结果，我将很乐意提供进一步帮助。