如何聚合大数据？

Question

我有一个这样的销售数据大数据集：

  Ordernumber     Category   Sold_Items
1 123             A          2
2 123             B          1
3 234             C          1
4 345             D          1
5 456             A          2
6 456             B          1

我想把它聚合成这样：

  A   B   C   D     frequency
  2   1             2
          1         1
              1     1 

所以，基本上我希望我的销售数据中存在的每个类别组合都有一行。而且我还想知道一种组合的频率。

好吧，我用cast 和melt 进行了尝试，但只有当数据集足够小时才能到达那里。不幸的是，我有超过 300 万行数据，cast 和 melt 无法再处理了。

谁能告诉我如何快速汇总我的数据？

提前谢谢你！

Answer 1

你可以试试

library(data.table)#v1.9.5+
dcast(setDT(df1), Ordernumber~Category, value.var='Sold_Items')[,
        frequency:=do.call(pmax, c(.SD, na.rm=TRUE)), .SDcols=2:5]