【发布时间】:2022-11-11 05:01:40
【问题描述】:
我试图拟合一个包含大约 900,000 个观测值和两个解释变量的线性模型。然而,我还需要包括一个控制变量,它是一个多级因子变量(11,135 个级别)。回归的代码如下所示:
model1 <- dep_var ~ expl_var_1 + expl_var_2 + factor(control_var), data=data
但是,R 向我抛出错误“无法分配大小为 75.6 GB 的向量” 我很清楚这是由于多级因子变量,但是,我需要将此变量作为控件包含在内。请注意:这不是一个有序的因素;它只是一个没有任何顺序的 id。
我试图找到解决此问题的方法,但遇到了问题:
- 我查看了 plm - 但这不起作用,因为虽然我的控制变量可以解释为 ID 时间并没有发挥作用(即使它起作用;每个 ID 每次可以有 >1 次观察)
- 我研究了 biglm,但这更适合大数据的情况,而不是多层次因素
我的问题:
- 有没有办法在回归中包含一个变量并在将回归结果分配给模型 1 时忽略它?我真的对每个控制变量因子水平的系数完全不感兴趣。我只需要控制它。
- 如果不存在:即使我无法确保在每个块中都存在所有控制变量因子水平,我能否有效地拆分回归(这是不可行的,因为某些水平只有 1 个观察值)?
我很感激任何解决方案的起点和寻找解决方案的想法 - 目前我只是坚持我的知识和理解水平。
提前感谢您的时间、支持和耐心。
【问题讨论】:
-
我认为混合模型可能更适合您的问题
-
嗨 Stefano,感谢您的指点。我调查了一下,想问你一个后续问题。就我而言,我将运行一个线性混合模型,其中随机效应模型将包含因子变量?提前致谢
-
是的,这就是您对问题的描述向我建议的内容。
-
谢谢 Stefano,这让我很开心。
-
您将需要研究为模型开发一个稀疏矩阵。为了回归您的数据,该因子将被转换为虚拟列,并且 900k x 11k 密集矩阵占用大量空间。 This vignette 是一个不错的介绍。