【问题标题】:R - Creating new file takes up too much memoryR - 创建新文件占用太多内存
【发布时间】:2017-10-25 00:11:15
【问题描述】:

我相对较新,R 语言很差,并且正在尝试做一些似乎给我带来麻烦的事情。

我有几个大型空间多边形数据帧,我试图将它们组合成 1 个空间多边形数据帧。有 7 个,它们加起来总共大约 5 GB。我的 Mac 只有 8GB 的​​ RAM。

当我尝试创建聚合的 spatialpolygonsdataframe 时,R 需要很长时间才能运行,我不得不退出。我想这是因为我没有足够的 RAM。

我的代码很简单:聚合

谢谢。

【问题讨论】:

  • 你可以考虑data.table:用fread读取你的文件并用rbindlist绑定它们
  • 你能在运行 rbind 时通过检查它来确认它是 RAM 限制吗? support.apple.com/en-gb/HT201538根据我的经验,R 在大型 shapefile 的内存管理方面非常糟糕。

标签: r memory gis rbind


【解决方案1】:

我不同意,读取大型数据集的一个主要组成部分不是 RAM 容量(尽管我建议您尽可能升级)。而是读/写速度。硬件方面,7200RPM 的 HDD 比 SSD 慢得多。如果您能够安装 SSD 并将其作为您的工作目录,我会推荐它。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-10-14
    • 2013-07-18
    • 2013-07-11
    • 2020-05-18
    • 1970-01-01
    • 1970-01-01
    • 2023-04-10
    • 2013-08-26
    相关资源
    最近更新 更多