最小二乘问题的定义
求解思路：
当残差形式为ax=b一次线性形式时，第二项对结果的影响不大
这个方法放大了坏条件，条件数最大奇异值与最小奇异值的比值
QR分解求方程
SVD分解求线性方程组
三种直接解方程组的对比
非线性最小二乘问题求解
将非线性最小二乘问题求解转化为求解高斯牛顿方程线性最小二乘
这一页slide 说明了高斯牛顿法求解的实质是一阶线性近似原目标函数
Levenberg-Marquardt Method
Levenberg-Marquardt Method 思想是将GN 方法中的线搜索方法转化为了在可行信赖域中搜索，其优点是不必保证是正定的，因为在限制域中可以找到一个局部解：近似函数作为模型函数
具体定义：
图中第三个等价条件本身是成立的
对于大余量问题来说，无法忽略二阶导数的第二部分，采用高斯牛顿方法和混合牛顿方法求解