使用正态方程法进行多元回归分析中的特征缩放（归一化）？ [关闭]答案

【问题标题】：Feature scaling (normalization) in multiple regression analysis with normal equation method? [closed]使用正态方程法进行多元回归分析中的特征缩放（归一化）？ [关闭]
【发布时间】：2016-03-12 23:04:19
【问题描述】：

我正在使用多个特征进行线性回归。我决定使用正规方程法来找到线性模型的系数。如果我们使用梯度下降进行多变量线性回归，我们通常会进行特征缩放以加快梯度下降收敛。现在，我将使用正规方程公式：

我有两个相互矛盾的信息来源。在 1-st 中指出，正规方程不需要特征缩放。在另一个我可以看到必须进行特征规范化。资料来源：

http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex3/ex3.html

http://puriney.github.io/numb/2013/07/06/normal-equations-gradient-descent-and-linear-regression/

在这两篇文章的末尾，提供了有关正规方程中特征缩放的信息。

问题是我们需要在正规方程分析之前进行特征缩放吗？

【问题讨论】：

在 SO 和 Stats.SE 上交叉发布：stats.stackexchange.com/q/185624/2921、stackoverflow.com/q/34148912/781723。请do not post the same question on multiple sites。每个社区都应该诚实地回答问题，而不会浪费任何人的时间。
我投票决定将此问题作为离题结束，因为它已发布在多个 Stack Exchange 网站上。

标签： machine-learning regression normalization linear-regression gradient-descent

【解决方案1】：

使用正规方程时不需要执行特征缩放。它仅对梯度下降法优化性能有用。斯坦福大学的文章提供了正确的信息。

当然，您也可以在这种情况下扩展功能，但它不会给您带来任何优势（并且会花费您一些额外的计算）。

【讨论】：

【解决方案2】：

您可能确实不需要扩展您的功能，从理论上讲，您只需一个“步骤”即可获得解决方案。然而，在实践中，情况可能会有所不同。

注意公式中的矩阵反转。反转矩阵并不是非常简单的计算操作。事实上，有一个衡量矩阵求逆（并执行一些其他计算）难度的方法，称为condition number：

如果条件数不是比 1 大太多（但它仍然可以是 1 的倍数），则矩阵是良好条件的，这意味着可以以良好的精度计算其逆矩阵。如果条件数很大，则称该矩阵是病态的。实际上，这样的矩阵几乎是奇异的，其逆矩阵或线性方程组的解的计算容易出现较大的数值误差。不可逆矩阵的条件数等于无穷大。

附：大的条件数实际上是减慢梯度下降收敛的同一个问题。

【讨论】：