吴恩达机器学习笔记系列（四）——线性回归

一.model representation（模型描述）

1.变量含义：

m = 样本数量

x = 输入变量

y = 输出变量

（x，y）——表示一组训练样本

（xi,yi）$（x^i,y^i）$——第 i 个训练样本

如下图：y^1=460, x^1=2104。

2.监督学习问题描述如下：

hypothesis（假设）；

对于线性问题，x与y的映射关系式可以表示为：hθ(x)=θ0+θ1x$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$ （记为式①），则问题转化为：

​ 找到合适的θ0${\theta }_0$和θ1${\theta }_1$的值，使得hθ(x)$h_{\theta }(x)$近似于训练样本（x，y)中的 y 的值。

---

3.cost function 代价函数

线性回归问题转到求解cost function上面来，即找出最符合要求的θ0${\theta }_0$和θ1${\theta }_1$，使得式① 计算的值最接近 y 的值，即求二者之间差值最小的情况下θ0${\theta }_0$和θ1${\theta }_1$：

minimize$minimize$ 12m∑mi=1(hθ(x(i)−y(i))2$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$——①

(θ0,θ1)$({\theta }_0,{\theta }_1)$

​ 其中：hθ(x(i)$h_{\theta }(x^{(i)}$ 是预测值；y(i)$y^{(i)}$是样本实际值。

注意：为什么成本函数包括乘以1 /（2m）？

a). 1/m部分是这样的成本是按比例缩放的。 在本课程的后面，我们将比较不同规模训练集的成本值J.
b). 1/2部分是一个微积分技巧，所以当我们计算偏导数时，它会被分子中出现的’2’抵消。 这节省了我们在成本函数中的计算。

由此得到cost function (也被称作squared error function均方差函数) 的表达式（记为式②）：

J(θ0,θ1)=12m∑mi=1(hθ(x(i)−y(i))2$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$——②

注：上式也被称作squared error function(均方差函数)

（1）简化的cost function 理解

①：

对于线性回归问题的模型，当θ0${\theta }_0$不为0时，式①的图像纵轴交点不为零；当θ0${\theta }_0$=0时，式①为过原点的直线，对应的代价函数J(θ)$J(\theta )$也简化了。

线性回归问题的目标就是：找出使得J(θ0,θ1)$J({\theta }_0,{\theta }_1)$的值最小的参数θ0${\theta }_0$和θ1${\theta }_1$的值。

②：

从左图看，黑色线表示样本实际的线性回归方程，红色和蓝色线分别表示θ1${\theta }_1$为0和0.5时的回归方程，可以看出红色线上每个样本的预测值（h(θ1)$h({\theta }_1)$）距离真实的值（y值）的长度分别是图中垂直线段的长度（|y−h(θ1)$y-h({\theta }_1)$|）。红色线上各样本处的距离长度均大于蓝色线，说明蓝色线的回归效果更好。即对该样本数据来说，线性回归的性能排序为：θ1${\theta }_1$=1 > θ1${\theta }_1$=0.5 > θ1${\theta }_1$0。

对应在右图有同样的结论。通过计算可以发现θ1${\theta }_1$的值为1，0.5和0时得到了代价函数的值分别是0，0.58和146$\frac{14}{6}$，我们的目标是使J(θ1)$J({\theta }_1)$越小越好，所以有性能排序为：θ1${\theta }_1$=1 > θ1${\theta }_1$=0.5 > θ1${\theta }_1$0。

（2）更复杂的cost function的图像

当θ0!=0${\theta }_0!=0$时,J(θ0,θ1)$J({\theta }_0,{\theta }_1)$的图像是三维立体的一个凹面，最低点为最优解。