顾名思义，从数学意义推导最小二乘法公式：
一，解释
最小二乘法本质是寻找一组x，使Ax与b距离最近。写成二范数的形式为：
最合适的x一般出现在函数的极值点，也就是导数为0的点，所以为求导计算方便，我们用二范数的平方作为计算公式：
补充知识：设下列向量条件
（1）二范数
（2）标量对列向量求导
证明过程：
另一个同理可证。
（3）特殊标量对列向量求导
证明过程：
二，推导过程
因为
最小二乘法所需要的极小值点一般会出现在偏导为0的地方，所以