最小二乘解总结

最小二乘的原理与要解决的问题

最小二乘的原理就是找到一组未知数，能使得目标值与估计值之间的残差最小化。

最小二乘法的解法：
1.线性回归解法：
用矩阵的形式将损失函数表示出来，然后对损失函数矩阵求导，


这是线性回归的最小二乘法的求解结果。

最小二乘矩阵法（线性回归）的局限性：
不适用于大规模的解，因为要计算矩阵的逆。并且要保证矩阵是有逆的才能继续。
而梯度下降方法可以对任何问题进行求解。