线性拟合1-最小二乘法

文章目录

• 最小二乘法介绍
• 目标函数
• 求解推导
• 几何意义
• 缺点
• 对异常值很敏感
• 没有考虑自变量的误差
• 存在不可求解的情况

从简单的二维线性拟合入手。本文只解决一个问题：在二维平面中找到一条最合适的线，来拟合所有给出的点。因为这个问题的复杂程度还不是很大，所以能够通过数学的方法直接求出解析解的，本文主要介绍最小二乘算法。

最小二乘法介绍

最小二乘法是最常用的线性回归解法，它通过最小化误差的平方和来寻找数据的最佳函数匹配 。最小二乘法的目的是找到因变量 $y$y 与自变量$x$x之间的函数关系$y=f(x)$y=f(x)。对于本文讨论的为题，可以将点的横坐标看做自变量，将纵坐标看做因变量。然后使用一般最小二乘法找到自变量和因变量之间的函数关系，由这个函数关系可以确定一条直线，这就是拟合出来的直线。最小二乘法的目标是使误差的平方和最小。

简单说一下最小二乘法的历史。1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星 。

所以最小二乘法的发明是为了预测行星的轨道数据，这也是最小二乘的一个典型的应用。

目标函数

假设给出的若干点的坐标为：$(x_1,y_1),(x_2,y_2) \cdots (x_n,y_n)$(x1​,y1​),(x2​,y2​)⋯(xn​,yn​)。定义纵坐标$y$y的误差$\epsilon_i$ϵi​为真值与观测值之差，定义$y$y的残差$\hat{\epsilon}_i$ϵ^i​为估计值与观测值的差，公式如下：
$\epsilon_i=y_i-y_i^{\star}$ϵi​=yi​−yi⋆​
$\hat{\epsilon}_i=y_i-\hat{y}_i$ϵ^i​=yi​−y^​i​

一般最小二乘法的目的是使拟合误差（残差和）最小，也就是$\min \sum \hat{\epsilon}_i$min∑ϵ^i​ ，所以目标函数的形式如下：
$\begin{aligned} \bm{J}_1&=\dfrac{1}{2}\sum_{i=1}^{n}\hat{\epsilon}_i^2 =\dfrac{1}{2}\sum_{i=1}^{n}(\hat{y}_i-y_i)^2 \\ &=\dfrac{1}{2}(\hat{\bm{y}}-\bm{y})^T(\hat{\bm{y}}-\bm{y}) \end{aligned}$J1​​=21​i=1∑n​ϵ^i2​=21​i=1∑n​(y^​i​−yi​)2=21​(y^​−y)T(y^​−y)​

其中$\hat{\bm{y}}=[\hat{y_1},\hat{y_2},\cdots,\hat{y_n}]^T$y^​=[y1​^​,y2​^​,⋯,yn​^​]T, $\bm{y}=[y_1,y_2,\cdots,y_n]^T$y=[y1​,y2​,⋯,yn​]T，这里添加的$\dfrac{1}{2}$21​只是为了方便计算。

所以最小二乘法就是找到一组直线的参数，使得目标函数最小。

求解推导

直线方程使用斜截式直线方程：$y=kx+c$y=kx+c，所以要求解的直线参数为斜率$k$k和截距$c$c。所以有：$\hat{y_i}=\hat{k}x_i+\hat{c}$yi​^​=k^xi​+c^。写成矩阵形式为：
$\hat{\bm{y}}=\bm{X}\bm{\theta}$y^​=Xθ
其中，$\bm{X}=\left[\begin{matrix}x_1 & 1 \\x_2 & 1 \\\vdots & \vdots \\x_n & 1\end{matrix}\right]$X=⎣⎢⎢⎢⎡​x1​x2​⋮xn​​11⋮1​⎦⎥⎥⎥⎤​，
$\bm{\theta}=\left[\begin{matrix}\hat{k} \\\hat{c}\end{matrix}\right]$θ=[k^c^​]，将其带入目标函数$\bm{J}_1$J1​得：
$\bm{J}_1=\dfrac{1}{2}(\bm{X}\bm{\theta}-\bm{y})^T(\bm{X}\bm{\theta}-\bm{y})$J1​=21​(Xθ−y)T(Xθ−y)

目标函数对$\theta$θ求导，并令其等于零，得：
$\dfrac{\partial}{\partial\bm{\theta}} \bm{J}_1 = \bm{X}^T (\bm{X}\bm{\theta} -\bm{y})=0$∂θ∂​J1​=XT(Xθ−y)=0
解得：
$\bm{\theta}=(\bm{X}^T\bm{X})^{-1}\bm{X}^T\bm{y}$θ=(XTX)−1XTy
即：
$\left[ \begin{matrix} \hat{k} \\ \hat{c} \end{matrix} \right]=(\bm{X}^T\bm{X})^{-1}\bm{X}^T\bm{y}$[k^c^​]=(XTX)−1XTy

几何意义

从目标函数上看，一般最小二乘法的直观上的理解是：在二维平面上找到一条直线，使得每个点到直线的竖直距离之和最小。也就是说，一般最小二乘优化的是竖直距离，即纵坐标$y$y的误差。

上图中红色线段即为每个点的竖直误差，一般最小二乘法就是找到这样一条直线，使得红色线段的和最小。

缺点

对异常值很敏感

一般最小二乘法对异常值很敏感，只要一个奇怪的异常值就可能会改变最后的结果。

从其代数解法的最后结果来看，一般最小二乘法仅使用了点的均值信息和方差信息，所以仅对存在普通噪声的情况下适用，当存在异常值时，一般最小二乘法就无能为力了，此时需要其他的方法来解决。

没有考虑自变量的误差

一般最小二乘法仅考虑了因变量$y$y存在误差的情况，没有考虑自变量$x$x的误差，所以其应用条件有一定的限制。只有当自变量不存在偏差，或者自变量的偏差在一定范围内可以忽略不计时，才比较适用。当自变量和因变量的测量都存在偏差时，一般最小二乘法就不太合适了。

对于本文所讨论的问题：用一条直线拟合平面上的若干点。题目并没有提到这些点的来源，当这些点的横坐标的测量比较精确时，可以使用考虑使用一般最小二乘法。但是当这些点的横纵坐标都存在误差，而且都不能忽略时，一般最小二乘法就不太适用了，这时就必须考虑其他的方法了。

存在不可求解的情况

当要拟合的直线是垂直或接近垂直于$x$x轴的时候，就无法求解了。垂直于$x$x轴的直线，斜率无穷大，无法用斜截式直线方程表示。

从可解性的角度考虑，当直线垂直于$x$x轴的时候，矩阵$\bm{X}^T\bm{X}$XTX是不可逆的，所以无法求出其最小二乘解。当直线接近垂直于$x$x轴的时候，矩阵$\bm{X}^T\bm{X}$XTX接近奇异，如果直接求逆，也会导致很大的偏差。

所以当拟合的直线垂直或者接近垂直于$x$x轴的时候，是不能用一般最小二乘法进行直线拟合的。