曲线拟合的最小二乘法

摘自：http://apps.hi.baidu.com/share/detail/34961718

 在科学实验数据处理中，往往要根据一组给定的实验数据，求出自变量x与因变量y的函数关系，这是为待定参数，由于观测数据总有误差，且待定参数ai的数量比给定数据点的数量少(即n＜m)，因此它不同于插值问题.这类问题不要求通过点，而只要求在给定点上的误差的平方和最小.当时，即
　　　　　　　　　(5.8.1)
这里是线性无关的函数族，假定在上给出一组数据，以及对应的一组权，这里为权系数，要求使最小，其中
　　　　　　　　　　　(5.8.2)

这就是最小二乘逼近，得到的拟合曲线为y=s(x)，这种方法称为曲线拟合的最小二乘法.
　　(5.8.2)中实际上是关于的多元函数，求I的最小值就是求多元函数I的极值，由极值必要条件，可得
　　　　　　(5.8.3)
根据内积定义(见第三章)引入相应带权内积记号
　　　　　　　　　　　　　(5.8.4)
则(5.8.3)可改写为
　　　　　
这是关于参数的线性方程组，用矩阵表示为
　　　　　　　　　　　　(5.8.5)
(5.8.5)称为法方程.当线性无关，且在点集上至多只有n个不同零点，则称在X上满足Haar条件，此时(5.8.5)的解存在唯一(证明见［3］).记(5.8.5)的解为
　　　　　　　　
从而得到最小二乘拟合曲线
　　　　　　　　　　(5.8.6)
可以证明对，有
　　　　　
故(5.8.6)得到的即为所求的最小二乘解.它的平方误差为
　　　　　　　　　　　　　　　　　　(5.8.7)
均方误差为
　　　　　　　　　　
　　在最小二乘逼近中，若取，则，表示为
　　　　　　　　　　　　　(5.8.8)
此时关于系数的法方程(5.8.5)是病态方程，通常当n≥3时都不直接取作为基，其具体方法下节再讨论，下面只给出n=1的例子.

　例5.10　已知一组实验数据如表所示.

试求最小二乘拟合曲线.
　　解　将所给数据在坐标纸上标出，如图5-6所示，说明它可用线性函数作曲线拟合，即选择形如作为拟合曲线.这里，故
　　　　

图5-6

于是由(5.8.5)得法方程
　　　　　　　　　　　　　　　
解得
　　　　　　　　　　　　　　　
于是所求的最小二乘拟合曲线为
　　　　　　　　　　　　　　　
均方误差为.
　　使用最小二乘逼近时，模型的选择是很重要的，通常模型y=s(x)是由物理规律或数据分布情况确定的，不一定都是形如(5.8.1)的线性模型，但有的模型经过变换可化为线性模型，这些也应按线性模型处理，例如
　　　　　　　　　　　　　　
它是指数函数，关于系数，b并非线性，但对上式两端取对数得到
　　　　　　　　　　　　　　
令，则上式转化为，它是线性模型，仍可按上面介绍的方法求y=s(x).

　　例5.11　给定数据如下：

求的最小二乘拟合曲线.
　　解　不是多项式，但两端取对数得.若令，则有，它是线性最小二乘拟合问题.可取，为求得A，b,先将化为.转化后的数据表为

根据最小二乘原理先求法方程系数
　　　　　　
故有法方程
　　　　　　
解得，于是得最小二乘拟合曲线
　　　　　　　　　　　

讲解：

　　曲线拟合的最小二乘法是处理实验数据一种经常使用的方法，它与插值不同，一是数据本身有误差，二是反映实验数据规律的数学模型，需要确定的待定参数个数较少，通常比m小得多，且一般不通过，而只要求在给定点处误差平方和最小。这是关于参数的多元函数求极值问题。
　　在最小二乘法重确定数学模型是很重要的，一种是根据物理规律给定的，一种是由实验数据描图选定的，但这里我们只讨论关于参数为线性的模型，即（5.8.1）所示，或通过变换能化为线性的模型，如例5.11给出的模型，当s(x)为多项式时
　　　　　　　　　　
则得到的法方程是病态方程组，求得的解误差较大，一般在 时应该改用关于给定节点正交的多项式组才能算出正确结果。

…………………………………………………………………………………………………………………………用正交多项式作最小二乘拟合

　　在最小二乘拟合中若，模型取为(5.8.8)时，由于法方程是病态方程，因此使用时应取为关于给定点的正交多项式，可避免求解病态方程组.类似定义9.3给出以下定义.

　　定义9.4　设给定拟合数据及权可构造多项式，其中，且
　　　　　　　　　　　　　(5.9.16)
则称是关于点集.带权的正交多项式族，为k次正交多项式.
　　根据定义，若令.
由递推关系得
　　　　　　　　　(5.9.17)
利用正交性
　　　　
求得及为
　　　　　　　　　　　　　(5.9.18)
令，由法方程(5.8.5)可求得解
　　　　　　　　　(5.9.19)
从而得到最小二乘拟合曲线
　　　　　　　　　(5.9.20)
它仍然是多项式函数，即.用计算机计算时求系数及与求系数可同时进行.当k=0,1,…,n时若有时，计算停止，此时即为所求.

讲解：

　　将向量空间中两向量正交（即垂直）的概念推广到连续函数空间，任两函数，内积就称它们为正交，函数序列两两正交，称为正交函数族，若为n次多项式，则当它满足（5.9.2）就称为正交多项式。
　　正交多项式有很多重要性质，其中以正交性，递推关系和在区间[a,b]上有n个单实根的三个性质最重要。最常用也是最重要的正交多项式是Legendre多项式和Chebyshev多项式，它们是函数逼近的重要工具，在数值积分中也有重要应用，Legendre多项式是区间[-1,1]上权函数 的正交多项式，其正交性由（5.9.7）式给出，递推关系式（5.9.8）都有具体应用是必须知道的。而Chebyshev 多项式是区间[-1,1]上，权函数的正交多项式。它表示为
　　由此表达式直接利用三角公式则可具体得到正交性（5.9.10）和递推关系（5.9.11）及其他重要性质。
　　用正交多项式作最小二乘拟合，应根据给定数据及权定义关于离散点集带权的正交多项式它本质上与在区间[-1,1]上定义的正交多项式相似，只是把积分变成求和，再以所得到关于点集正交的多项式作基求最小二乘的拟合曲线，这就避免了用一般多项式拟合出现解法方程的病态问题，当然这种做法通常都在计算机上计算，不必记公式，只要能利用已有软件算出拟合曲线即可。