6.1范数逼近
- 基本的范数逼近问题
- 罚函数逼近
基本的范数逼近问题
其中，且
是
一种范数。
范数逼近问题的解有时又被称为在范数
的近似解。
表示问题的残差。
解释：
（1）几何解释：在A的列空间上找到一个在范数下离b最近的点。
（2）估计的解释：假设y=Ax+v，y是测量值，v是噪声，x是待估计的参数向量。给定y=b，找到最好的估计值，使得
最小。
（3）设计的解释：x是设计变量，b是期望得到的最好的结果，而Ax是实际的结果，找到最好的设计值，使得
最小。
例子
（1）最小二乘逼近：
对x极小化目标函数，，令其为0，得到
，解得
（2）Chebyshev或极小极大逼近
问题试图极小化最大残差，故称为极小极大逼近问题。该问题可以描述为一个线性规划：
其中，约束的意思就是Ax-b的任意分量都在
之间。这里
（3）残差绝对值之和逼近
在估计领域，称为一种鲁棒估计器。
其中，不同于极小极大逼近问题，这里
的分量不一定是相等的。
罚函数逼近
罚函数逼近问题具有形式：
其中r是残差，是残差的第i个分量，
称为残差罚函数，设
是凸函数，
表示对每个残差的每个分量的费用或惩罚。在多数情况下，罚函数是对称，非负的，且满足
.
例子：
（1）带有四区的线性罚函数：，即对小于a的残差不惩罚。
（2）对数障碍罚函数：，对大于a的残差给与无穷大惩罚。
（3）二次罚函数：
下图给出了选取矩阵，然后比较
的一范数，二范数逼近结果，以及带有死区的罚函数(a=0.5)和对数障碍罚函数(a=1)的结果:
Huber罚函数
在时，是二次罚函数，而在
时，类似线性罚函数。
M=1时Huber罚函数的图像如下：
Huber罚函数在实际问题中效果非常好。
上图实线是Huber罚函数的拟合结果，而虚线是直线对42个点的最小二乘拟合结果。可以看出最小二乘拟合结果偏离了实际的位置。这是因为在图中有两个野值
，且野值大于M，此时最小二乘对野值的惩罚是
，较大，所以会使原来拟合的直线想野值方向旋转，即从实线向虚线变化，而Huber罚函数对野值的惩罚较小，所以影响也较小，从而会得到很好的效果。