代价函数
在之前的预测房价的问题上，定义了一个用来进行预测的函数，是这样的线性函数形式：。,现在所需要做的就是找到合适的参数θ0和θ1。对于房价问题，在图上反应出来的就是斜率和截距。参数决定了得到的直线相对于训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差。
目标便是选择出可以使得建模误差的平方和最小的模型参数。也就是代价函数的值最小。
代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。当然也有其他的代价函数，但是平方误差代价函数最适合线性回归问题。
代价函数的理解
如图，已经知道预测函数，参数和代价函数，目标就是求出代价函数的最小值。
根据上面两个图，描述了参数改变对于，代价函数的值也会改变。
已知现在有三个点（1,1），（2,2），（3,3）
预测函数现在为h(x)=θ1x，
1.当θ1为1时，如左图蓝色的线，此时，得到预测出来的值分别是1*1,1*2,1*3,带入代价函数（平方误差代价函数）计算可得（（1*1-1^2+(1*2-2)^2+(1*3-3)^2）/(2*3) = 0,在右边的代价图上表现的就是横轴值为1的那个点
2.当θ1为0.5的时候，如左图紫色的线，此时预测出来的值分别为0.5*1,0.5*2,0.5*3，带入代价函数计算可得（（0.5*1-1）^2+(0.5*2-2)^2+(0.5*3-3)^2）/(2*3)=(0.25+1+2.25)/6=0.58,在右图表现的就是横轴上0.5的那个点
3.当θ1为1.5的时候，表现的就是右图上横轴为1.5的点，
4.依次类图，求出的代价函数的值表现如右图。当θ0为1的时候，值最小。反之，当θ1为1的时候，代价函数所对应的值，反映到预测函数上，最能符合给出的三个点。
所以，求得代价函数的最小值也就是最重要的，梯度下降就是求代价函数最小值的方法