当自变量与因变量不相关时的多元回归

Question

考虑多元回归，例如Y ~ X1 + X2 + X3, 你认为是否值得将多元回归模型拟合到数据中 当cor(X1, Y)、cor(X2, Y)和cor(X3, Y)都是0.2等小值时， 此外，(X1, Y)、(X2, Y) 和(X3, Y) 的图未见（线性、非线性）不相关？

总之，

1. 当每个自变量与因变量不相关（视觉上呈线性和非线性）时，多元回归模型是否有可能给出显着的系数？

2. 对于相同的数据，神经网络等非线性模型是否有可能给出良好的可预测结果？

Answer 1

在回答 (1) 时，可能具有低边际相关性的解释变量在输入到多元回归时变得显着。例如，如果 X1 和 X2 彼此负相关并且都对 Y 产生正向影响，则 Y 和 X1 之间的关系可能会被 X2 的影响混淆（反之亦然）。

在控制模型中所有其他项的影响时，多元回归有效地估计了响应和每个解释变量之间的关系，因此有效地消除了这种混淆。本文末尾的代码显示了一个假设示例。

如上所述，您的低相关性似乎更有可能反映出您的解释变量不是您的反应的良好预测指标，而不是相互混淆的良好预测指标。不过只有一种方法可以找出答案。

在回答 (2) 时，也可能非线性模型将提供比线性模型更好的预测准确性。然而，根据我的经验，如果您对一种模型类型的预测准确度较低，则其他模型类型不太可能表现良好。

这是我上面提到的示例代码：

# Make example data
X1 = rnorm(100)
X2 = -X1 + runif(100)/10 #X2 is negatively correlated with X1
Y = X1 + X2 + runif(100)

# Check correlations
cor(X1, Y) #should give low correlation
cor(X2, Y) # should give low correlation
cor(X1, X2) # should give high (negative) correlation

# Fit model and extract pvalues. Should find significant relationships between Y and X1 and X2 despite the low correlations
fit = lm(Y ~ X1 + X2) 
summary(fit)$coefficients[, "Pr(>|t|)"] # pvalues

Answer 2

1. 要使用多元回归模型，您应该检查绝对残差是否为正态分布，并且它们的平均值应为 0。 当因变量和自变量之间不相关时，您可以对其进行转换：

   • log(x) 或平方(x)。为此，数据集中将有一个新列。这个新列应该用 qq-diagrams 检查正态分布。如果是，请使用此列。 最后，您必须注意数据的解释，因为它们已被转换。

2. 要预测因变量，nn 可以提供帮助，但您必须尝试不同的层并找到最低的均方误差。