机器学习 线性回归

梯度下降实现线性回归

求导

最终算法:

多变量线性回归
基础知识
n 代表特征数量
x(i)$x^{(i)}$代表第i个训练实例,是特征矩阵中的第i行,是一个向量(vector)
x(i)j$x_j^{(i)}$代表特征矩阵中第i行的第j个特征,也就是第i个训练实例的第j个特征.

多变量假设模型hθ(x)$h_{\theta }(x)$

也可以用向量表示为

代价函数为

优化目标

多项式回归*
线性回归并不适用于所有数据,有时需要用曲线来适应数据,比如:二次方或者三次方模型

另外我们也可以令x2=x22,x3=x23$x_2=x_2^2,x_3=x_3^2$将模型转换为线性模型.

正规方程
就只直接令代价函数为0,而不使用梯度下降方法来求代价函数的最小值.