【发布时间】:2019-06-10 16:20:44
【问题描述】:
我正在对来自多个源(多个大型 CSV,500mb 以上)的数据进行一些预处理,应用一些转换并最终得到一个最终的 tibble 数据集,其中包含我需要的所有数据,并且采用整洁的“格式”。 "在该预处理结束时,我将最终的 tibble 保存为 .RData 文件,稍后将其导入以进行后续统计分析。
问题在于 tibble 数据集非常大(在 R 工作区中占用 5gb 内存)并且保存和加载非常慢。我没有及时测量它,但保存该对象需要超过 15 分钟,即使使用 compress = FALSE。
问题:我是否有任何(最好是简单的)选项来加快这一切?我已经检查过了,tibble 中的数据类型都是应有的(字符是字符,数字是 dbl 等)
谢谢
【问题讨论】:
-
您是否研究过data.table 方法?
-
如果问题是文件保存和加载速度而不是实际的数据处理,我会查看
fst库(或提供不同格式来保存 R 数据集的类似库) -
@Roman,不,你能详细说明一下吗?理想情况下,我想继续使用该 tibble,因为我的所有其他代码(统计分析部分)在 tibble 上运行得非常好。
-
@IceCreamToucan:我去看看fst包,谢谢。实际的数据处理也需要很多时间,但目前还不是最大的 PITA。如果您对如何加快实际数据处理也有一些想法,我很想听听。那里的主要问题(就时间而言)是加载不同的大 csv 文件需要很长时间。