仅针对最后一个系数的线性回归“NA”估计答案

【问题标题】：linear regression "NA" estimate just for last coefficient仅针对最后一个系数的线性回归“NA”估计
【发布时间】：2011-11-12 08:36:29
【问题描述】：

我在 R 中运行 summary(lm(...)) 函数。当我打印系数时，我得到了除最后一个变量之外的所有变量的估计值。我得到“NA”的最后一个变量。

我尝试用另一列切换最后一列数据，最后一列中的任何内容都得到了“NA”，但其他所有内容都得到了估计。

关于数据的一点点：我有大约 5 个变量，每行都有数据，然后我有 12 个季节性变量，例如，如果月份是 1 月，则 1 月的每一天都有 1，否则为 0。对于二月变量，如果月份是二月，则为 1，否则为 0，依此类推。有谁知道在系数估计的最后一列中会产生什么“NA”？所以我第一次运行它时，它是 12 月虚拟变量的系数。是因为我每月的虚拟变量吗？谢谢

这是我的可重现示例。

dat<- data.frame(
         one<-c(sample(1000:1239)),
         two<-c(sample(200:439)),
         three<-c(sample(600:839)),
         Jan<-c(rep(1,20), rep(0,220)),
         Feb<-c(rep(0,20),rep(1,20),rep(0,200)),
         Mar<-c(rep(0,40),rep(1,20),rep(0,180)),
         Apr<-c(rep(0,60),rep(1,20),rep(0,160)),
         May<-c(rep(0,80),rep(1,20),rep(0,140)),
         Jun<-c(rep(0,100),rep(1,20),rep(0,120)),
         Jul<-c(rep(0,120),rep(1,20),rep(0,100)),
         Aug<-c(rep(0,140),rep(1,20),rep(0,80)),
         Sep<-c(rep(0,160),rep(1,20),rep(0,60)),
         Oct<-c(rep(0,180),rep(1,20),rep(0,40)),
         Nov<-c(rep(0,200),rep(1,20),rep(0,20)),
         Dec<-c(rep(0,220),rep(1,20)
      )

attach(dat)

summary(lm(one ~ two + three + Jan + Feb + 
          Mar + Apr + May + Jun + Jul + Aug + Sep + Oct + Nov + Dec))

【问题讨论】：

让我们从一个可重现的例子开始：stackoverflow.com/questions/5963269/…
虚拟变量的个数总是比因子个数少1。所以在你的情况下，如果有 12 个月，你应该定义 11 个假人。您可能正在定义 12，这就是为什么最后一个未被估计的原因。
没错，拉姆纳特。我用的是 12。为什么我们少用 1？我不清楚这将如何工作，因为我的数据是一年中的每一天。所以会有一个月根本拿不到假人？
如果您保留month 作为一个因素并使用包含month-1 的公式（例如y~month-1），R 将为您设置虚拟变量并抑制截距...如果您提供一个可重复的示例，我（或其他人）将向您展示它是如何工作的
好的，添加了一个可重现的例子。

标签： r

【解决方案1】：

最后一个变量得到 NA，因为它线性依赖于其他 11 个变量。 R 的 lm 函数（以及所有正确构造的 R 回归函数）将自动为您排除线性因变量。这是在model.matrix 函数中处理的。如果其他变量全部为0，则12月为1。这与排除因子的最低项有关，但并不完全相同。

可能有更好的方法来做到这一点。

至于从哪里获得 12 月的信息？ ...它在“（拦截）”术语中。如果您想按照您的预期标记所有级别，请尝试在公式中添加 -1 或 +0，您会看到十二月神奇地从迷雾中浮现。

【讨论】：

所以我感兴趣的只是获取系数。为什么 R 为我排除了最后一个系数？一定是我不需要它，但我不明白为什么。
因为它线性依赖于前 11 个术语。如果您知道 1 月至 11 月的观察结果不是，那么说它是在 12 月不会给您任何额外的信息……我认为您必须原谅人们试图向您讲授统计基础模型，因为这是您理解（并在未来回答您自己的问题）的最佳方式
@BenBolker 如果有两种或更多类型的二进制自变量怎么办？ lm.fit() 将有多个 NA 值，并且截距值将是排除的 NA 值的总和。例如，月份（12 个二进制变量）和年份（3 个二进制变量代表 3 年）。
二元或多项变量都被编码为因子并具有“处理对比”，默认情况下会导致“（截距）”系数表示效果（作为同一性链接的组均值）的交集所有这些变量都处于最低水平。如果您有足够的数据，您仍然可以创建一个具有交互作用且没有截距的模型（使用上述方法），该模型将总结（作为平均值）所有双向或更高的组合。
谢谢@BondedDust 我刚刚注意到 BenBolker 的示例是用于分解分类变量的。如果将月份分解为 12 个二进制变量（1 月 0 = 否、1 = 是、2 月 = 0、1 = 是等），我该如何修复多个 NA？如果我有与 OP 相同的数据集，我会得到 12 月的 NA 值。

【解决方案2】：

您必须多考虑一下您的模型是如何定义的。

这是您的方法（为便于阅读而编辑）：

> set.seed(101)
> dat<-data.frame(one=c(sample(1000:1239)),
                 two=c(sample(200:439)),
                 three=c(sample(600:839)),
                 Jan=c(rep(1,20),rep(0,220)),
                 Feb=c(rep(0,20),rep(1,20),rep(0,200)),
                 Mar=c(rep(0,40),rep(1,20),rep(0,180)),
                 Apr=c(rep(0,60),rep(1,20),rep(0,160)),
                 May=c(rep(0,80),rep(1,20),rep(0,140)),
                 Jun=c(rep(0,100),rep(1,20),rep(0,120)),
                 Jul=c(rep(0,120),rep(1,20),rep(0,100)),
                 Aug=c(rep(0,140),rep(1,20),rep(0,80)),
                 Sep=c(rep(0,160),rep(1,20),rep(0,60)),
                 Oct=c(rep(0,180),rep(1,20),rep(0,40)),
                 Nov=c(rep(0,200),rep(1,20),rep(0,20)),
                 Dec=c(rep(0,220),rep(1,20)))
> summary(lm(one ~ two + three + Jan + Feb + Mar + Apr + 
         May + Jun + Jul + Aug + Sep + Oct + Nov + Dec,
            data=dat))

以及答案：

[snip]
Coefficients: (1 not defined because of singularities)

注意这一行，它表示 R（以及您选择使用的任何其他统计包）无法估计所有参数，因为预测变量并非都是线性独立的。

              Estimate Std. Error t value Pr(>|t|)    
(Intercept) 1149.55556   53.52499  21.477   <2e-16 ***

这里的截距代表所有预测变量为零时的预测值。在任何特定情况下，截距的解释取决于您如何参数化模型。您为月份定义的虚拟变量并非都是线性独立的； lm 足够聪明，可以检测到这一点并删除一些无法识别（线性相关）的预测变量。在这种情况下，哪些特定预测器被丢弃的细节是模糊的和技术性的（您可能必须查看lm.fit 函数的内部，但您可能不想这样做）。在这种情况下，R 决定丢弃 December 预测器。因此，如果我们将所有预测变量（two、three 和 Jan-Nov 的所有月份）设置为零，那么当 two=0 和 three=0 以及当月份不等于一月至十一月中的任何一个 - 即十二月的预期值。

two           -0.09670    0.06621  -1.460   0.1455    
three          0.02446    0.06666   0.367   0.7141    
Jan          -19.49744   22.17404  -0.879   0.3802    
Feb          -28.22652   22.27438  -1.267   0.2064    
Mar           -6.05246   22.25468  -0.272   0.7859    
Apr           -5.60192   22.41204  -0.250   0.8029    
May          -13.19127   22.34289  -0.590   0.5555    
Jun          -19.69547   22.14274  -0.889   0.3747    
Jul          -44.45511   22.20837  -2.002   0.0465 *  
Aug           -2.08404   22.26202  -0.094   0.9255    
Sep          -10.13351   22.10252  -0.458   0.6470    
Oct          -31.80482   22.33335  -1.424   0.1558    
Nov          -20.35348   22.09953  -0.921   0.3580    
Dec                 NA         NA      NA       NA    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 69.81 on 226 degrees of freedom
Multiple R-squared: 0.04381,    Adjusted R-squared: -0.01119 
F-statistic: 0.7966 on 13 and 226 DF,  p-value: 0.6635

现在再做一次，这次设置一个模型公式，使用-1 丢弃截距项（我们重置随机种子以实现可重复性）：

> set.seed(101)
> dat1 <- data.frame(one=c(sample(1000:1239)),two=c(sample(200:439)),
      three=c(sample(600:839)),
                    month=factor(rep(month.abb,each=20),levels=month.abb))
> summary(lm(one ~ two + three + month-1, data=dat1))

    Coefficients:
           Estimate Std. Error t value Pr(>|t|)    
two        -0.09670    0.06621  -1.460    0.146    
three       0.02446    0.06666   0.367    0.714

two 和 three 的估计值与以前相同。

monthJan 1130.05812   52.79625  21.404   <2e-16 ***
monthFeb 1121.32904   55.18864  20.318   <2e-16 ***
monthMar 1143.50310   53.59603  21.336   <2e-16 ***
monthApr 1143.95365   54.99724  20.800   <2e-16 ***
monthMay 1136.36429   53.38218  21.287   <2e-16 ***
monthJun 1129.86010   53.85865  20.978   <2e-16 ***
monthJul 1105.10045   54.94940  20.111   <2e-16 ***
monthAug 1147.47152   54.57201  21.027   <2e-16 ***
monthSep 1139.42205   53.58611  21.263   <2e-16 ***
monthOct 1117.75075   55.35703  20.192   <2e-16 ***
monthNov 1129.20208   53.54934  21.087   <2e-16 ***
monthDec 1149.55556   53.52499  21.477   <2e-16 ***

12 月的估计值与上述截距估计值相同。其他月份的参数估计值等于 (intercept+previous value)。 p 值不同，因为它们的含义已经改变。此前，它们是从 12 月开始测试每个月的差异；现在，它们是对每个月与基线值零差异的测试。

【讨论】：

好的，谢谢你的详细解释。你能改写这句话，因为我正在努力“你必须考虑在任何特定情况下这意味着什么，但是因为 R 决定丢弃 12 月预测变量（它必须丢弃一些东西），这对应于 12 月，当两个=三=0。”
我又试了一次。如果这不起作用，您可能需要进一步阅读。 rip94550.wordpress.com/2011/01/17/… 有一个相当技术性的帖子；你应该寻找关键字“rank”和“multicollinearity”（和“linear (in)dependence”）