【问题标题】:How to deal with too large vector size in lm with many-level factor as control如何以多级因子为控制处理lm中太大的向量大小
【发布时间】:2022-11-11 05:01:40
【问题描述】:

我试图拟合一个包含大约 900,000 个观测值和两个解释变量的线性模型。然而,我还需要包括一个控制变量,它是一个多级因子变量(11,135 个级别)。回归的代码如下所示:

model1 <- dep_var ~ expl_var_1 + expl_var_2 + factor(control_var), data=data

但是,R 向我抛出错误“无法分配大小为 75.6 GB 的向量” 我很清楚这是由于多级因子变量,但是,我需要将此变量作为控件包含在内。请注意:这不是一个有序的因素;它只是一个没有任何顺序的 id。

我试图找到解决此问题的方法,但遇到了问题:

  • 我查看了 plm - 但这不起作用,因为虽然我的控制变量可以解释为 ID 时间并没有发挥作用(即使它起作用;每个 ID 每次可以有 >1 次观察)
  • 我研究了 biglm,但这更适合大数据的情况,而不是多层次因素

我的问题:

  1. 有没有办法在回归中包含一个变量并在将回归结果分配给模型 1 时忽略它?我真的对每个控制变量因子水平的系数完全不感兴趣。我只需要控制它。
  2. 如果不存在:即使我无法确保在每个块中都存在所有控制变量因子水平,我能否有效地拆分回归(这是不可行的,因为某些水平只有 1 个观察值)?

    我很感激任何解决方案的起点和寻找解决方案的想法 - 目前我只是坚持我的知识和理解水平。

    提前感谢您的时间、支持和耐心。

【问题讨论】:

  • 我认为混合模型可能更适合您的问题
  • 嗨 Stefano,感谢您的指点。我调查了一下,想问你一个后续问题。就我而言,我将运行一个线性混合模型,其中随机效应模型将包含因子变量?提前致谢
  • 是的,这就是您对问题的描述向我建议的内容。
  • 谢谢 Stefano,这让我很开心。
  • 您将需要研究为模型开发一个稀疏矩阵。为了回归您的数据,该因子将被转换为虚拟列,并且 900k x 11k 密集矩阵占用大量空间。 This vignette 是一个不错的介绍。

标签: r size lm


【解决方案1】:

我参加聚会迟到了,但实际上不明白为什么 biglm 不起作用。你不需要把所有的控制都当成傻瓜,而是作为一个因素,从而使问题变得不那么稀疏。唯一的事情是在 biglm 之前创建数据块(您可以使用 split 或 sample and split 来完成),在第一个块上运行 biglm,然后使用 biglm::update 函数在其他块上运行。块的数量取决于你的记忆。

唯一的事情是确保您以完全相同的方式定义每个块中的因子级别(在分块之前使用带有/out relevel 的级别)。对于块中不存在的那些因素,biglm 将返回一个 NA,它将在下一阶段更新。

【讨论】:

    猜你喜欢
    • 2019-11-19
    • 1970-01-01
    • 2011-08-19
    • 2019-12-19
    • 1970-01-01
    • 2020-02-02
    • 1970-01-01
    • 1970-01-01
    • 2013-01-14
    相关资源
    最近更新 更多