线性回归
构建模型
假设线性回归中存在模型：
对线性模型做如下处理：令，其中，w为权重(weight)，b为偏差(bias),在线性回归模型中w和b分别形象的表示为直线的斜率和截距。
目标函数：
其中，????(????, ????)被称为cost function，对应的函数值为cost。
cost值大小被用于评判模型在数据上的表现优劣。
针对不同的问题选择不同的cost function来评价模型。
这里选择的cost function是均方误差（mean squared error，即MSE）
线性回归要点 ：
优化算法：
梯度下降是一个一阶最优化算法，通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对于梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。所以梯度下降法可以帮助我们求解某个函数的极小值或者最小值。对于n维问题就最优解，梯度下降法是最常用的方法之一。在目前的机器学习中，梯度下降发展为两种方法，随机梯度下降法和批量梯度下降法。
如图所示：X轴是w值，Y轴是b值，Z轴是目标函数的取值。选取不同的w,b的值会得到不同的目标函数值，我们的目的则是找到最优解，即目标函数值最小时所对应的b* 与w*的值。此时便用到了梯度下降的方法。
目标函数：
目标函数关于w的梯度：
关于b的梯度：
变化的梯度：
更新梯度：