首先我们需要矩阵求导的相关知识
接下来就是利用矩阵求导来推导最小二乘法了
线性方程组
该方程组可能无解，即任何一组x1,x2,...,xs(这里是系数)都可能使得
不等于零。所以找到一组x1,x2,...,xs使得(2)式最小
对于（１）式，我们可以用矩阵来表示自变量矩阵
自变量矩阵A：
函数值B:
系数X：
函数值Y：
故（２）式等价于：
也就是说，最小二乘法就是找x1,x2,...,xs使得Y与B距离最短
对于（4）式Y，可以写成如下形式：
其中为对应的列向量，由
生成的子空间为
，那么Y就是
中的向量，故最小二乘法问题可叙述成
设Y=AX=,则
C = B - Y = B - A X
必须垂直于只子空间，故有
由向量内积的定义可知：
由（6）式可得：
即：
从而有：
其中
最小二乘法的几何解释
注：该PPT为本人自制