与插值问题不同，在拟合问题中不需要曲线一定经过给定的点。拟合问题的目标是寻求一个函数（曲线），使得该曲线在某种准则下与所有的数据点最为接近，即曲线拟合的最好（最小化损失函数）。
一、最小二乘法
最小二乘就是算距离，使每个点到直线的距离和最小第一种定义有绝对值，不容易求导，因此计算比较复杂。所以我们往往使用第二种定义，这也正是最小二乘的思想。
为什么不用四次方？（了解）
（1）避免极端数据对拟合曲线的影响。
（2）最小二乘法得到的结果和MLE极大似然估计一致。
不用奇数次方的原因：误差会正负相抵。
以下是 k 与 b 的推导过程
推导
二、评价模型
R^2只能用于线性函数的模型评价
上面说的线性函数是指的对参数为线性（线性于参数）。跟我们以前理解的线性函数不同 eg. y = ax^2+b 也是一种线性函数
简要判别方式：在函数中，参数仅以一次方出现，且不能乘以或除以其他任何的参数，并不能出现参数的复合函数形式。
（详细参考 古扎拉蒂《计量经济学基础》这里将书中部分内容粘贴如下 ）
SST = SSR + SSE的证明
结合斜前面寻找 k 、b 的结论