【问题标题】:Julia: Loading an rds file using RData.jl takes up a huge amount of memoryJulia:使用 RData.jl 加载 rds 文件会占用大量内存
【发布时间】:2019-03-29 16:38:55
【问题描述】:

我正在将一个 R rds 文件加载到 Julia 中

using RData
objs = load(rds, convert=true)

原始 rds 文件约为 3GB。当我运行 load 函数时,内存飙升至 ~40GB。

有什么想法吗?

【问题讨论】:

    标签: r julia rdata


    【解决方案1】:

    rds 文件实际上是使用 gzip 压缩的。尝试解压缩您的文件,看看它实际上有多大(在 Windows 上,您可以使用 7-zip)。数据帧的压缩级别很容易达到 80-90% 左右,因此您的数字看起来不错。

    【讨论】:

    • @user3055163 顺便说一句 - 为什么你删除了关于DataFrames 并行化的问题,这是一个很好的问题,我花了一些时间和精力来写答案,现在它不可见其他 Julia 用户。
    • 问题表述不当。事后看来,我意识到我问的是多线程,而不是多处理。
    • 1.多处理答案仍然对其他人有用。 2. 如果您需要多线程,只需再提交一个问题或在最后一个中要求澄清 - 我也很乐意为此提供代码 sn-p。
    猜你喜欢
    • 2014-07-20
    • 1970-01-01
    • 2015-06-26
    • 2015-09-17
    • 1970-01-01
    • 2018-06-12
    • 2014-05-11
    • 2011-02-27
    • 2013-12-13
    相关资源
    最近更新 更多