【发布时间】:2011-06-27 05:23:49
【问题描述】:
我有兴趣探索 R 如何处理内存不足的数据。我找到了bigmemory 包和朋友(bigtabulate 和biganalytics),但希望有人能指出一个使用文件支持这些包的示例。任何其他内存不足提示也将不胜感激。
【问题讨论】:
标签: r r-bigmemory
我有兴趣探索 R 如何处理内存不足的数据。我找到了bigmemory 包和朋友(bigtabulate 和biganalytics),但希望有人能指出一个使用文件支持这些包的示例。任何其他内存不足提示也将不胜感激。
【问题讨论】:
标签: r r-bigmemory
Charlie,只需发送电子邮件至 Mike 和 Jay,他们有一两年前的 ASA“航班”数据库示例有很多示例。
编辑: 事实上,Documentation tab 有我的想法;脚本也在网站上。
【讨论】:
看看“CRAN Task View: High-Performance and Parallel Computing with R”。有一章“大内存和内存不足数据”提到了严重的解决方案。例如包ff。
【讨论】:
ff,但我没有意识到这是一个磁盘解决方案。谢谢。
任何其他内存不足提示也将不胜感激。
我经常处理大型数据集。即使我的代码已经过优化,我仍然会不时启动 Amazon EC2 实例,因为它让我可以访问比我办公桌上更多的资源。例如,具有 26 个 ECU、8 个内核和 68 GB RAM 的实例的成本仅为每小时 0.80-1.00 美元(现货实例定价)。
如果这看起来合理,您可以启动一个已经有 R 的公共机器映像并立即完成这项工作。
【讨论】: