【问题标题】:What does the high VIF for the constant term (intercept) indicate?常数项(截距)的高 VIF 表示什么?
【发布时间】:2020-01-11 12:33:46
【问题描述】:

我正在使用 RFE 技术和 statsmodels 库在汽车数据集上构建线性回归模型。我的最终模型的 p 值在 5% 以内,并且 F 统计量很高。预测变量的 VIF 值远低于 5,但对于常数项(截距)VIF 为 8.18。我已经使用 add_constant 方法将常量添加到模型中。以下是我的疑问:

  1. 常数的高方差表示什么?
  2. 在计算 VIF 时是否应该忽略常数项?

这些是我的结果:

我是机器学习的新手,也是第一次在这个网站上发布问题。如果需要更多信息来回答我的问题,请告诉我。

【问题讨论】:

    标签: python constants rfe


    【解决方案1】:

    统计问题最好在 stats.stackexchange 上提出。但是,我只是为 statsmodels 完成了这个,例如https://github.com/statsmodels/statsmodels/issues/2376

    首先,您的模型和数据中不存在多重共线性问题。 p 值很低,置信区间很窄,所以模型中的参数应该是一个很好的估计。 vif 为 8 并不大。

    常数中较大的 vif 表示(斜率)解释变量也具有较大的常数分量。例如,当变量的均值很大但方差很小时。与设计矩阵的常数和秩不足完美共线性的一个例子是虚拟变量陷阱,当我们没有删除虚拟编码中分类变量的一个级别并且虚拟总和为 1 时,复制一个常数.

    在vif计算中包含常数的目的是发现用户提供的设计矩阵exog存在的这类问题。如果我们在贬损或标准化的解释变量上计算 vif,它就不会出现。

    在统计学和计量经济学中,关于多重共线性测量是否应该包括一个常数或仅适用于贬低的解释变量,一直存在着争论。

    我目前正在准备对 statsmodels 的扩展,让用户可以选择计算两个版本,包括和不包括常量。 在某些情况下,重新参数化、贬低和缩放可以提高数值精度和预测。所以我们希望有措施来检查用户提供的实际设计矩阵,同时检查数据的标准化版本,看看贬低和缩放是否可以提高数值精度。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-12-18
      • 1970-01-01
      • 1970-01-01
      • 2018-09-26
      • 1970-01-01
      • 1970-01-01
      • 2020-12-14
      • 1970-01-01
      相关资源
      最近更新 更多