【发布时间】:2019-07-31 08:08:35
【问题描述】:
当由于非常大的数据计算需要很长时间,因此我们不希望它们崩溃时,事先知道要使用哪种重塑方法是很有价值的。
最近,在性能方面进一步开发了重塑数据的方法,例如data.table::dcast 和 tidyr::spread。尤其是dcast.data.table 似乎定下了基调 [1], [2], [3],
[4]。这使得其他方法作为基准 R 的 reshape 在基准测试中显得过时并且几乎没用[5]。
理论
但是,我听说reshape 在处理非常大的数据集(可能超过 RAM)时仍然是无与伦比的,因为它是唯一可以处理它们,因此它仍然有权存在。使用reshape2::dcast 的相关崩溃报告支持这一点[6]。至少有一个参考资料暗示reshape() 可能确实比reshape2::dcast 更有优势,因为它是真正的“大人物”[7]。
方法
为此寻找证据,我认为值得花时间做一些研究。因此,我使用不同大小的模拟数据进行了基准测试,这些数据越来越耗尽 RAM,以比较 reshape、dcast、dcast.data.table 和 spread。我查看了具有三列的简单数据集,具有不同的行数以获得不同的大小(参见最底部的代码)。
> head(df1, 3)
id tms y
1 1 1970-01-01 01:00:01 0.7463622
2 2 1970-01-01 01:00:01 0.1417795
3 3 1970-01-01 01:00:01 0.6993089
RAM 大小仅为 8 GB,这是我模拟“非常大”数据集的阈值。为了使计算时间合理,我对每种方法只进行了 3 次测量,并专注于从长到宽的重塑。
结果
unit: seconds
expr min lq mean median uq max neval size.gb size.ram
1 dcast.DT NA NA NA NA NA NA 3 8.00 1.000
2 dcast NA NA NA NA NA NA 3 8.00 1.000
3 tidyr NA NA NA NA NA NA 3 8.00 1.000
4 reshape 490988.37 492843.94 494699.51 495153.48 497236.03 499772.56 3 8.00 1.000
5 dcast.DT 3288.04 4445.77 5279.91 5466.31 6375.63 10485.21 3 4.00 0.500
6 dcast 5151.06 5888.20 6625.35 6237.78 6781.14 6936.93 3 4.00 0.500
7 tidyr 5757.26 6398.54 7039.83 6653.28 7101.28 7162.74 3 4.00 0.500
8 reshape 85982.58 87583.60 89184.62 88817.98 90235.68 91286.74 3 4.00 0.500
9 dcast.DT 2.18 2.18 2.18 2.18 2.18 2.18 3 0.20 0.025
10 tidyr 3.19 3.24 3.37 3.29 3.46 3.63 3 0.20 0.025
11 dcast 3.46 3.49 3.57 3.52 3.63 3.74 3 0.20 0.025
12 reshape 277.01 277.53 277.83 278.05 278.24 278.42 3 0.20 0.025
13 dcast.DT 0.18 0.18 0.18 0.18 0.18 0.18 3 0.02 0.002
14 dcast 0.34 0.34 0.35 0.34 0.36 0.37 3 0.02 0.002
15 tidyr 0.37 0.39 0.42 0.41 0.44 0.48 3 0.02 0.002
16 reshape 29.22 29.37 29.49 29.53 29.63 29.74 3 0.02 0.002
(注意:基准测试是在配备 Intel Core i5 2.5 GHz、8GB DDR3 RAM 1600 MHz 的辅助 MacBook Pro 上执行的。)
显然,dcast.data.table 似乎总是最快的。正如预期的那样,所有打包的方法在处理非常大的数据集时都失败了,可能是因为计算超出了 RAM 内存:
Error: vector memory exhausted (limit reached?)
Timing stopped at: 1.597e+04 1.864e+04 5.254e+04
只有reshape 处理所有数据大小,尽管速度很慢。
结论
dcast 和 spread 等封装方法对于小于 RAM 或计算不会耗尽 RAM 的数据集非常有用。如果数据集大于 RAM 内存,打包方法会失败,我们应该使用reshape。
问题
我们可以这样总结吗?有人可以澄清一下为什么data.table/reshape 和tidyr 方法会失败以及它们与reshape 的方法差异是什么?大量数据的唯一选择是可靠但慢的马reshape?对于tapply、unstack 和 xtabs 接近 [8] 的方法,我们可以从此处未测试的方法中得到什么?
[9]?
或者,简而言之:如果除了reshape 失败,还有什么更快的选择?
数据/代码
# 8GB version
n <- 1e3
t1 <- 2.15e5 # approx. 8GB, vary to increasingly exceed RAM
df1 <- expand.grid(id=1:n, tms=as.POSIXct(1:t1, origin="1970-01-01"))
df1$y <- rnorm(nrow(df1))
dim(df1)
# [1] 450000000 3
> head(df1, 3)
id tms y
1 1 1970-01-01 01:00:01 0.7463622
2 2 1970-01-01 01:00:01 0.1417795
3 3 1970-01-01 01:00:01 0.6993089
object.size(df1)
# 9039666760 bytes
library(data.table)
DT1 <- as.data.table(df1)
library(microbenchmark)
library(tidyr)
# NOTE: this runs for quite a while!
mbk <- microbenchmark(reshape=reshape(df1, idvar="tms", timevar="id", direction="wide"),
dcast=dcast(df1, tms ~ id, value.var="y"),
dcast.dt=dcast(DT1, tms ~ id, value.var="y"),
tidyr=spread(df1, id, y),
times=3L)
【问题讨论】:
-
我对“大数据”的松散定义围绕着“比您计算机上的 RAM 更大的问题”,这表明它是一个移动目标,并且取决于所使用的计算机(我的 256GB 内存服务器上的大数据与我的 16GB 内存笔记本电脑不同)。考虑到这一点,听起来您正在尝试接近或超过此限制的方法,在这种情况下,我建议您的方法应该涉及基于集群的方法。缺少附近的集群,这可以在 R 中用分而治之的方式进行模拟,即
split,然后重塑,然后rbind(其中一种变体)。 -
长话短说,我不知道您对
reshape效率的具体问题的答案。但是,如果您真的想找到一种方法来处理本地系统上的数据,那么我建议 split-apply-combine 是大型数据集的可行替代方案。 -
你是如何在
microbenchmark的输出中获得大小的? -
@r2evans 感谢您的提示。我将使用
summary(<microbenchmark>)获得的四个不同数据大小的测量数据框组合在一起,并手动添加了这些列。 -
太糟糕了,我真的希望在
microbenchmark中进行简单的分析,它会提供很多信息。作为记录,rbindlist(by(DT1, DT1$tms, function(x) dcast(x, tms ~ id, value.var = "y")))产生了与dcast(DT1, tms ~ id, value.var="y")相同的输出(排序后),尽管计算时间显着。我怀疑它总体上使用的内存较少,但我目前无法验证。
标签: r performance bigdata reshape