【问题标题】:using glm with large data set in R - memory exhausted在 R 中使用带有大数据集的 glm - 内存耗尽
【发布时间】:2019-09-09 05:06:56
【问题描述】:

我有一个大型数据集(>600 万行和 12 列),我正在尝试对其执行逻辑回归。数据框的第一列名为 Dep1,具有 0 或 1 值。其他列是名称 Var1、Var2、...、Var11,是我感兴趣的自变量。数据框中的某些列是类型因子,而其他列是 num。我正在通过以下调用运行 glm:

mylogit <- glm(Dep1 ~ Var1 + Var2 + Var3 + Var4 + Var5 + Var6  + Var7 + Var8 + Var9 + Var10 + Var11,data=dataset,family=binomial())

当我使用所有变量调用 glm 时,我收到消息:

Error: vector memory exhausted (limit reached?)

我可以使用较小的变量集(例如仅 Var1 到 Var4)运行 glm,但我想使用所有变量来检查它。有解决此错误的建议吗?

【问题讨论】:

  • 你的数据有多稀疏?
  • 购买更多内存
  • 相关副本:link

标签: r glm


【解决方案1】:

我最终遵循了here 的步骤,并且似乎在我重新启动 R 后解决了我的问题。

【讨论】:

    猜你喜欢
    • 2013-07-13
    • 2017-05-16
    • 2011-12-19
    • 1970-01-01
    • 1970-01-01
    • 2021-03-27
    • 1970-01-01
    • 1970-01-01
    • 2017-06-23
    相关资源
    最近更新 更多