Liner Regression problem

Model Representation（模型构建）

以房价预测为例，假设有如下可供训练的数据集(数据总量为m)：

住宅面积 (x)	销售价格(y)
123	45w
145	55w
120	42w
…	…
80	30w

将这些点绘制在直角坐标系上则为：

其中x是住宅面积，y是销售的价格，那么假设预测函数为h且函数h是线性的，那么可设函数h=θ0+θ1x$h={\theta }_0+{\theta }_{1}x$，其中θ0、θ1${\theta }_0、{\theta }_1$为参数。

代价函数

如何用假设的函数h来较好的拟合训练数据集是我们接下来要关心的问题。即如下图所示：

这样就可以将问题看成一个最优化问题，即优化参数使得所有标签值到预测值的距离总和越小，由于接下来要进行求导，为求导方便，那么定义代价函数J(θ0,θ1)=12m∑ni=1(hθ(x(i))−y(i))2$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$。
那么总结如下图所示：

如何最小化代价函数（梯度下降）

不断调整参数θ0,θ1${\theta }_0,{\theta }_1$,使得代价函数J最小

α的取值

• α若太大，可能跳过局部最优值，甚至无法收敛
• α 若太小，收敛速度太慢