【问题标题】:Imputing missing values for linear regression model, using linear regression使用线性回归为线性回归模型估算缺失值
【发布时间】:2020-08-15 14:54:02
【问题描述】:

我抓取了一个房地产网站,并希望使用线性回归来估算总面积的缺失数据(大约 40% 缺失)。我使用价格、房间数量、卧室、浴室和化妆间来达到最佳效果。

Correlation matrix

在房间信息中添加价格会产生显着差异。这是有道理的,因为仅房间数量并不能提供任何有关这些房间可能有多大的信息。价格可以减少一些不确定性。包含价格的模型的 R^2 得分与不包含价格的模型的 R^2 得分相差 20 分(0.62 vs 0.82)。

我看到的问题是,我的最终模型也可能是以价格为目标的线性回归。有了这个,将价格包括在预测总面积的估算中似乎是错误的。结果,我的最终模型看起来会更好,但我将设计一个综合相关性。这一点尤其重要,因为大约 40% 的值需要替换。

有人不同意吗?我是否应该将价格作为估算缺失值的预测因子,即使它将成为我最终模型的目标?

【问题讨论】:

  • 我认为您可能需要在stats.stackexchange.com 中询问此问题
  • 谢谢你的评论,我也会发到那里的。

标签: linear-regression missing-data imputation data-wrangling


【解决方案1】:

根据上下文,我认为您是在谈论酒店价格?

根据我的经验,为您的预测值估算缺失值,确实可以显着提高 R^2 分数,但是您估算的预测值越多,您拥有的观察值就越少,因此它会偏向于得出结论,以更全面地了解酒店价格,因为您可能永远不知道是否存在未观察到的酒店价格变化更多,对吧?

【讨论】:

  • 是的,这是房地产价格,所以本质上是一回事。我将目标用作 6 个预测变量中的 1 个来预测插补值这一事实如何?您认为这是一个问题吗?
  • 线性回归的准确性可能会因您的预测变量和观察结果而异,如果 6 个预测变量中有 1 个可以为您提供一个好的预测模型,那么我认为这根本不是问题,它只是意味着预测变量足以预测价格
  • 还有一件事,如果你的响应值有很多缺失值,我认为线性回归不适合,因为它需要非缺失值,在这种情况下你可以使用所谓的 tobit 回归,因为它在通过审查某些值进行建模时允许缺失值
  • 谢谢你的提示,我还没有听说过tobit回归。但是,我想我可能没有清楚地说明情况。我想做的是执行多元线性回归来预测房价。我的功能之一,以平方英尺为单位的总面积,有大约 40% 的缺失值。但是,非缺失值与目标价格相关性非常好,这就是我想保留的原因。
  • 我认为这很好,不管它是否相关,那有什么问题?
猜你喜欢
  • 2017-10-21
  • 1970-01-01
  • 2019-03-26
  • 2019-12-29
  • 2020-08-28
  • 2019-10-09
  • 2020-01-28
  • 2022-11-11
  • 2019-02-01
相关资源
最近更新 更多