【问题标题】:What methods can we use to reshape VERY large data sets?我们可以使用哪些方法来重塑非常大的数据集?
【发布时间】:2019-07-31 08:08:35
【问题描述】:

当由于非常大的数据计算需要很长时间,因此我们不希望它们崩溃时,事先知道要使用哪种重塑方法是很有价值的。

最近,在性能方面进一步开发了重塑数据的方法,例如data.table::dcast 和 tidyr::spread。尤其是dcast.data.table 似乎定下了基调 [1], [2], [3], [4]。这使得其他方法作为基准 R 的 reshape 在基准测试中显得过时并且几乎没用[5]。

理论

但是,我听说reshape 在处理非常大的数据集(可能超过 RAM)时仍然是无与伦比的,因为它是唯一可以处理它们,因此它仍然有权存在。使用reshape2::dcast 的相关崩溃报告支持这一点[6]。至少有一个参考资料暗示reshape() 可能确实比reshape2::dcast 更有优势,因为它是真正的“大人物”[7]。

方法

为此寻找证据,我认为值得花时间做一些研究。因此,我使用不同大小的模拟数据进行了基准测试,这些数据越来越耗尽 RAM,以比较 reshape、dcast、dcast.data.table 和 spread。我查看了具有三列的简单数据集,具有不同的行数以获得不同的大小(参见最底部的代码)。

> head(df1, 3)
  id                 tms         y
1  1 1970-01-01 01:00:01 0.7463622
2  2 1970-01-01 01:00:01 0.1417795
3  3 1970-01-01 01:00:01 0.6993089

RAM 大小仅为 8 GB,这是我模拟“非常大”数据集的阈值。为了使计算时间合理,我对每种方法只进行了 3 次测量,并专注于从长到宽的重塑。

结果

unit: seconds
       expr       min        lq      mean    median        uq       max neval size.gb size.ram
1  dcast.DT        NA        NA        NA        NA        NA        NA     3    8.00    1.000
2     dcast        NA        NA        NA        NA        NA        NA     3    8.00    1.000
3     tidyr        NA        NA        NA        NA        NA        NA     3    8.00    1.000
4   reshape 490988.37 492843.94 494699.51 495153.48 497236.03 499772.56     3    8.00    1.000
5  dcast.DT   3288.04   4445.77   5279.91   5466.31   6375.63  10485.21     3    4.00    0.500
6     dcast   5151.06   5888.20   6625.35   6237.78   6781.14   6936.93     3    4.00    0.500
7     tidyr   5757.26   6398.54   7039.83   6653.28   7101.28   7162.74     3    4.00    0.500
8   reshape  85982.58  87583.60  89184.62  88817.98  90235.68  91286.74     3    4.00    0.500
9  dcast.DT      2.18      2.18      2.18      2.18      2.18      2.18     3    0.20    0.025
10    tidyr      3.19      3.24      3.37      3.29      3.46      3.63     3    0.20    0.025
11    dcast      3.46      3.49      3.57      3.52      3.63      3.74     3    0.20    0.025
12  reshape    277.01    277.53    277.83    278.05    278.24    278.42     3    0.20    0.025
13 dcast.DT      0.18      0.18      0.18      0.18      0.18      0.18     3    0.02    0.002
14    dcast      0.34      0.34      0.35      0.34      0.36      0.37     3    0.02    0.002
15    tidyr      0.37      0.39      0.42      0.41      0.44      0.48     3    0.02    0.002
16  reshape     29.22     29.37     29.49     29.53     29.63     29.74     3    0.02    0.002

(注意:基准测试是在配备 Intel Core i5 2.5 GHz、8GB DDR3 RAM 1600 MHz 的辅助 MacBook Pro 上执行的。)

显然,dcast.data.table 似乎总是最快的。正如预期的那样,所有打包的方法在处理非常大的数据集时都失败了,可能是因为计算超出了 RAM 内存:

Error: vector memory exhausted (limit reached?)
Timing stopped at: 1.597e+04 1.864e+04 5.254e+04

只有reshape 处理所有数据大小,尽管速度很慢。

结论

dcast 和 spread 等封装方法对于小于 RAM 或计算不会耗尽 RAM 的数据集非常有用。如果数据集大于 RAM 内存,打包方法会失败,我们应该使用reshape。

问题

我们可以这样总结吗?有人可以澄清一下为什么data.table/reshape 和tidyr 方法会失败以及它们与reshape 的方法差异是什么?大量数据的唯一选择是可靠但慢的马reshape?对于tapply、unstack 和 xtabs 接近 [8] 的方法,我们可以从此处未测试的方法中得到什么? [9]?

或者,简而言之:如果除了reshape 失败,还有什么更快的选择?


数据/代码

# 8GB version
n <- 1e3      
t1 <- 2.15e5  # approx. 8GB, vary to increasingly exceed RAM

df1 <- expand.grid(id=1:n, tms=as.POSIXct(1:t1, origin="1970-01-01"))
df1$y <- rnorm(nrow(df1))

dim(df1)
# [1] 450000000         3

> head(df1, 3)
id                 tms         y
1  1 1970-01-01 01:00:01 0.7463622
2  2 1970-01-01 01:00:01 0.1417795
3  3 1970-01-01 01:00:01 0.6993089

object.size(df1)
# 9039666760 bytes

library(data.table)
DT1 <- as.data.table(df1)

library(microbenchmark)
library(tidyr)
# NOTE: this runs for quite a while!
mbk <- microbenchmark(reshape=reshape(df1, idvar="tms", timevar="id", direction="wide"),
                      dcast=dcast(df1, tms ~ id, value.var="y"),
                      dcast.dt=dcast(DT1, tms ~ id, value.var="y"),
                      tidyr=spread(df1, id, y),
                      times=3L)

【问题讨论】:

  • 我对“大数据”的松散定义围绕着“比您计算机上的 RAM 更大的问题”,这表明它是一个移动目标,并且取决于所使用的计算机(我的 256GB 内存服务器上的大数据与我的 16GB 内存笔记本电脑不同)。考虑到这一点,听起来您正在尝试接近或超过此限制的方法,在这种情况下,我建议您的方法应该涉及基于集群的方法。缺少附近的集群,这可以在 R 中用分而治之的方式进行模拟,即split,然后重塑,然后rbind(其中一种变体)。
  • 长话短说,我不知道您对reshape 效率的具体问题的答案。但是,如果您真的想找到一种方法来处理本地系统上的数据,那么我建议 split-apply-combine 是大型数据集的可行替代方案。
  • 你是如何在microbenchmark 的输出中获得大小的?
  • @r2evans 感谢您的提示。我将使用summary(&lt;microbenchmark&gt;)获得的四个不同数据大小的测量数据框组合在一起,并手动添加了这些列。
  • 太糟糕了,我真的希望在microbenchmark 中进行简单的分析,它会提供很多信息。作为记录,rbindlist(by(DT1, DT1$tms, function(x) dcast(x, tms ~ id, value.var = "y"))) 产生了与dcast(DT1, tms ~ id, value.var="y") 相同的输出(排序后),尽管计算时间显着。我怀疑它总体上使用的内存较少,但我目前无法验证。

标签: r performance bigdata reshape


【解决方案1】:

如果你的真实数据和你的样本数据一样有规律,我们可以通过注意到重塑矩阵实际上只是改变它的 dim 属性来提高效率。

在非常小的数据上排名第一

library(data.table)
library(microbenchmark)
library(tidyr)

matrix_spread <- function(df1, key, value){
  unique_ids <-  unique(df1[[key]])
  mat <- matrix( df1[[value]], ncol= length(unique_ids),byrow = TRUE)
  df2 <- data.frame(unique(df1["tms"]),mat)
  names(df2)[-1] <- paste0(value,".",unique_ids)
  df2
}

n <- 3      
t1 <- 4
df1 <- expand.grid(id=1:n, tms=as.POSIXct(1:t1, origin="1970-01-01"))
df1$y <- rnorm(nrow(df1))

reshape(df1, idvar="tms", timevar="id", direction="wide")
#                    tms        y.1        y.2       y.3
# 1  1970-01-01 01:00:01  0.3518667  0.6350398 0.1624978
# 4  1970-01-01 01:00:02  0.3404974 -1.1023521 0.5699476
# 7  1970-01-01 01:00:03 -0.4142585  0.8194931 1.3857788
# 10 1970-01-01 01:00:04  0.3651138 -0.9867506 1.0920621

matrix_spread(df1, "id", "y")
#                    tms        y.1        y.2       y.3
# 1  1970-01-01 01:00:01  0.3518667  0.6350398 0.1624978
# 4  1970-01-01 01:00:02  0.3404974 -1.1023521 0.5699476
# 7  1970-01-01 01:00:03 -0.4142585  0.8194931 1.3857788
# 10 1970-01-01 01:00:04  0.3651138 -0.9867506 1.0920621

all.equal(check.attributes = FALSE,
          reshape(df1, idvar="tms", timevar="id", direction="wide"),
          matrix_spread (df1, "id", "y"))
# TRUE

然后是更大的数据

(对不起,我现在不能进行大量计算)

n <- 100      
t1 <- 5000

df1 <- expand.grid(id=1:n, tms=as.POSIXct(1:t1, origin="1970-01-01"))
df1$y <- rnorm(nrow(df1))

DT1 <- as.data.table(df1)

microbenchmark(reshape=reshape(df1, idvar="tms", timevar="id", direction="wide"),
               dcast=dcast(df1, tms ~ id, value.var="y"),
               dcast.dt=dcast(DT1, tms ~ id, value.var="y"),
               tidyr=spread(df1, id, y),
               matrix_spread = matrix_spread(df1, "id", "y"),
               times=3L)

# Unit: milliseconds
# expr                 min         lq       mean     median         uq        max neval
# reshape       4197.08012 4240.59316 4260.58806 4284.10620 4292.34203 4300.57786     3
# dcast           57.31247   78.16116   86.93874   99.00986  101.75189  104.49391     3
# dcast.dt       114.66574  120.19246  127.51567  125.71919  133.94064  142.16209     3
# tidyr           55.12626   63.91142   72.52421   72.69658   81.22319   89.74980     3
# matrix_spread   15.00522   15.42655   17.45283   15.84788   18.67664   21.50539     3 

还不错!

关于内存使用,我想如果reshape 处理它,我的解决方案会,如果您可以使用我的假设或预处理数据以满足它们:

  • 数据已排序
  • 我们只有 3 列
  • 对于所有 id 值,我们找到所有 tms 值

【讨论】:

  • 谢谢,我已经在相同的 RAM 耗尽条件 (8:8GB) 下对您的尝试进行了 3 次测试。不过,它在大约五分钟后使用相同的Error: vector memory exhausted (limit reached?) 失败了。
  • 无论如何,matrix_spread 对于其他用途来说似乎相当快! :)
猜你喜欢
  • 2023-04-06
  • 1970-01-01
  • 2010-09-17
  • 1970-01-01
  • 1970-01-01
  • 2022-08-05
  • 1970-01-01
  • 2010-12-20
  • 1970-01-01
相关资源
最近更新 更多