最小二乘法
它通过最小化误差的平方和寻找数据的最佳函数匹配
如下图所示，对于某个数据集(xi, yi) (i=0,1,…,n)，我们需要找到一条趋势线（图中的虚线），能够表达出数据集(xi, yi)这些点所指向的方向。用一个直线函数表示这条趋势线：
Y=aX+b
如果这个样本点位于趋势线的上侧，在残差ξi>0，反之则ξi<0，如果样本点位于趋势线上则ξi=0。
将带有残差的直线函数修改为下面的形式：
很明显这个二次函数是一个凸函数（单峰函数），我们接下来对该函数求极值，即它的一阶导数等于0（对k和b求偏导）。
小结：最小二乘法是一种数学优化技术，通过最西欧啊化误差的平方和寻找数据的最佳函数匹配。通过函数的求导为0来的到方程的最优解。