分析 R 中的相关数据：线性、岭回归、PCR答案

【问题标题】：Analyzing correlated data in R: Linear, Ridge regression, PCR分析 R 中的相关数据：线性、岭回归、PCR
【发布时间】：2012-09-16 10:24:49
【问题描述】：

我有 5 个变量 y, x_1, x_2, x_3, x_4 的时间序列观察结果，任务是找出 xes 中的哪一个对 y 的变化负责。现在的问题是它们都具有很强的互相关性并表现出共线性。 x_1, x_2, x_3, x_4 内部没有隐藏组件，它们对它们成对或以任何其他方式共有 - 它们只是自然相关。

可以预见，线性回归会给出不合理的结果，在去除其中一个变量后系数会发生剧烈变化，这对于高度共线性的数据来说是正常的。

正如wiki 所建议的那样，多重共线性的一些补救措施是使用岭回归和主成分回归。但是，当我使用lm.ridge 方法时，它给出的系数与lm 完全相同。

在这种情况下 PCR 可以提供帮助吗？如果可以，R 中有什么简单的方法可以从中检索系数和 p 值？类似于lm 函数的汇总表。

【问题讨论】：

对于MASS::lm.ridge，您可能忽略了设置非零lambda（惩罚系数），在这种情况下，函数默认为lambda=0，即常规无惩罚回归。（lm.ridge 的文档非常粗略——如果您需要有关如何使用此功能的指导，您可能需要获取一份Modern Applied Statistics with S（Venables 和 Ripley）的副本。 .
是的，您可能是对的，将在此处查看并报告...
确实很不错的书——谢谢你的指点，网上有一个看似合法的免费pdf版本。

标签： r statistics regression linear-regression

【解决方案1】：

看看

多尔曼等人。（2012）。共线性：处理方法的回顾它和评估其性能的模拟研究。 paywall, alternative link

查看可用方法。

R 代码和数据可用here :)

【讨论】：

谢谢！看起来很有趣，检查后会回来。
非常好，里面有一些有用的信息和有用的例子。谢谢！
你好。您建议使用什么 R 包进行岭回归？ glmnet，bigRR，质量，其他？他们中的任何一个能够处理重复测量（随机效应）吗？