封闭形式的解决方案是否总是过拟合？答案

【问题标题】：Will closed form solution be always overfitting?封闭形式的解决方案是否总是过拟合？
【发布时间】：2018-05-18 05:58:22
【问题描述】：

因为我们已经解决了一些机器学习问题的封闭形式，例如线性回归。它们具有更高的 O(D^3) 复杂度（D 是从输入派生的特征数量），但是使用封闭形式派生的解决方案是否总是过拟合？

我知道封闭形式的解决方案需要更长的计算能力，这对于大量特征可能不可行。
我也知道梯度下降、随机梯度下降等可以生成足够接近且复杂度较低的解决方案。

只是想了解，使用封闭式解决方案是否有好处？

【问题讨论】：

标签： machine-learning regression linear-regression

【解决方案1】：

这通常不是真的，但在某些情况下在实践中会是真的。

假设您有数百万个观察值和数千个特征，并且您将线性回归拟合到设计矩阵的第一个主成分。这是封闭形式不会过拟合的第一种情况：N 远大于 P

或者，岭回归有一个封闭形式的解决方案。它是R，它是solve(crossprod(X) + lambda * diag(rep(1, nrow(x))) %*% t(X) %*% y。选择最佳 lambda 的交叉验证通常比梯度下降更快。这是第二种情况：封闭形式的解决方案涉及超参数。广义的加法模型也有点像这样。

【讨论】：

【解决方案2】：

是的：简而言之，您已经找到了该数据集的最佳解决方案。根据定义，对总体样本的封闭形式的解决方案将过度拟合该样本。但是请注意，如果样本是整个总体，那么您的解决方案必然是最优的。

各种“偷偷摸摸”解决方案（例如梯度下降）专门设计用于在您指定的任意小错误内通过启发式方法找到相同解决方案。这是数值分析的灵魂。 :-)

在大多数情况下，仅当您需要精确解的精确度以进行进一步的理论推导时，封闭形式的解才有用。在某些情况下，它的预测速度也更快（仅限前向传递），因为它的权重要少得多。但是，预测通常受限于 I/O 速度，而不是模型复杂度。

【讨论】：