只含有一个特征/输入变量，这样的问题叫做单变量线性回归问题。如
接下来是为模型选择合适的参数，如
模型预测的值与训练集中实际的值的插值就是建模误差。
目标是选择出可使得建模误差的平方和能够最小的模型参数。
代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。
梯度下降，能够用来求函数最小值。
梯度下降背后的思想是：开始时我们随机选择一个参数的组合(????0,????1,…,????????)，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。
去努力接近最低点，这样就需要很多步才能到达最低点，所以如果????太小的话，可能会很慢，因为它会一点点挪动，它会需要很多步才能到达全局最低点。
如果????太大，那么梯度下降法可能会越过最低点，甚至可能无法收敛，甚至会导致发散。
如果你的参数已经处于局部最低点，那么梯度下降法更新其实什么都没做，它不会改变参数的值。这也解释了为什么即使学习速率????保持不变时，梯度下降也可以收敛到局部最低点。此时局部最优点的倒数等于0.
在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小的幅度，这是因为当我们接近局部最低点时，很显然在局部最低时导数等于零，所以当我们接近局部最低时，导数值会自动变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的做法。所以实际上没有必要再另外减小????
梯度下降的线性回归