R：使用相对重要性（relaimpo 包）构建预测的线性模型？答案

【问题标题】：R: Using relative importance (relaimpo package) to build a linear model for prediction?R：使用相对重要性（relaimpo 包）构建预测的线性模型？
【发布时间】：2021-12-04 12:34:21
【问题描述】：

我有一个庞大的数据集，我正在尝试使用 relaimpo 包构建一个良好的预测线性模型。

将calc.relimp 函数与type="lmg 一起使用，我得到了相对重要的变量的输出。虽然模型解释的方差比例只有 52%，但我想去用这些变量建立一个线性模型。

有没有办法使用这些变量构建lm 模型，并以某种方式考虑模型中的相对重要性值？

我对此不太熟悉，并且正在考虑根据每个变量的相对重要性值对每个变量进行加权...？

【问题讨论】：

请提供足够的代码，以便其他人更好地理解或重现问题。

标签： r statistics

【解决方案1】：

我不是统计学家，所以我不会给你任何希腊符号，但我认为你混淆了一些事情。

正如您所说的那样，基于 LMG 方法的相对重要性或多或少是在相关预测变量的情况下某种方差分解，即它告诉您模型中的多少方差是由哪个预测变量解释的。
但是，这与lm 函数及其估计本身无关。事实上，lm 模型的 R² 与您将 calc.relimp 的相对重要性相加得到的结果完全相同。
无法告诉lm 函数在预测/估计期间更多地关注某个预测变量。
您可能想要做的是一个弹性网络（它是 LASSO 和 RIDGE 回归的组合），它基本上可以满足您的需求，即缩小“不重要”/小预测变量的影响并强调重要的影响/large 预测变量：https://en.wikipedia.org/wiki/Elastic_net_regularization（Lasso 和 Ridge 回归在维基百科文章中链接）。
我认为这里的这个是 Jerome Friedman、Trevor Hastie、Rob Tibshirani 等人的原始包：https://cran.r-project.org/web/packages/glmnet/index.html

【讨论】：