【发布时间】:2019-03-29 16:38:55
【问题描述】:
我正在将一个 R rds 文件加载到 Julia 中
using RData
objs = load(rds, convert=true)
原始 rds 文件约为 3GB。当我运行 load 函数时,内存飙升至 ~40GB。
有什么想法吗?
【问题讨论】:
我正在将一个 R rds 文件加载到 Julia 中
using RData
objs = load(rds, convert=true)
原始 rds 文件约为 3GB。当我运行 load 函数时,内存飙升至 ~40GB。
有什么想法吗?
【问题讨论】:
rds 文件实际上是使用 gzip 压缩的。尝试解压缩您的文件,看看它实际上有多大(在 Windows 上,您可以使用 7-zip)。数据帧的压缩级别很容易达到 80-90% 左右,因此您的数字看起来不错。
【讨论】:
DataFrames 并行化的问题,这是一个很好的问题,我花了一些时间和精力来写答案,现在它不可见其他 Julia 用户。