【问题标题】:Example of bigmemory and friends with file backingbigmemory 和有文件支持的朋友的示例
【发布时间】:2011-06-27 05:23:49
【问题描述】:

我有兴趣探索 R 如何处理内存不足的数据。我找到了bigmemory 包和朋友(bigtabulatebiganalytics),但希望有人能指出一个使用文件支持这些包的示例。任何其他内存不足提示也将不胜感激。

【问题讨论】:

    标签: r r-bigmemory


    【解决方案1】:

    Charlie,只需发送电子邮件至 MikeJay,他们有一两年前的 ASA“航班”数据库示例有很多示例。

    编辑: 事实上,Documentation tab 有我的想法;脚本也在网站上。

    【讨论】:

    • Chill:他们是相关项目的作者。欧普知道。此外,我提供了一个 链接 到项目站点,其中有 Jay 和 Mike 的 更多链接。你有没有麻烦检查一下?
    • 太好了,德克。我没有看到他们的网站,只有 CRAN 材料。谢谢。
    【解决方案2】:

    看看“CRAN Task View: High-Performance and Parallel Computing with R”。有一章“大内存和内存不足数据”提到了严重的解决方案。例如包ff

    【讨论】:

    • 我听说过ff,但我没有意识到这是一个磁盘解决方案。谢谢。
    【解决方案3】:

    任何其他内存不足提示也将不胜感激。

    我经常处理大型数据集。即使我的代码已经过优化,我仍然会不时启动 Amazon EC2 实例,因为它让我可以访问比我办公桌上更多的资源。例如,具有 26 个 ECU、8 个内核和 68 GB RAM 的实例的成本仅为每小时 0.80-1.00 美元(现货实例定价)。

    如果这看起来合理,您可以启动一个已经有 R 的公共机器映像并立即完成这项工作。

    【讨论】:

    • 我听说过 EC2,但我没有意识到它如此便宜。谢谢!
    猜你喜欢
    • 2017-03-22
    • 2018-01-27
    • 2015-10-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-08-15
    相关资源
    最近更新 更多