1多变量线性回归
（对比单变量线性回归）
1.1多变量假设：输入为多维特征。
1.2拟合函数：
这里令x0 = 1，将变量向量化，向量化的过程如下：
1.3 损失函数和梯度下降
对比单变量，损失函数知识参数变多：
梯度下降法也没有变，只是需要同时更新的参数变多：
- 参数变多，加之样本数量变多，原来的批梯度下降收敛速度慢，改进方式为：随机梯度下降
1.4 feature scaling
让所有feature具有相似的尺度，归一化到[-1,1]区间内, 归一化方法：xi=(xi-μi)/σi
1.5 多项式回归polynomial regression
除了线性回归外（图像是直线），我们也能采用多项式回归 （图像是曲线）。我们的解决办法是设变量：
举例如下假设函数：
hθ(x)=θ0+θ1x+θ2x2+θ3x3
我们的技巧是 设： x2 and x3 并且使
x2=x1^2
x3=x1^3
这样就把多项式回归，转化成了多参数线性回归。可方便计算。
2正规方程normal equation
对于最小二乘回归问题，不需要采用梯度下降更新参数，而可以根据对J（θ）函数求导后等于0，直接推出参数 的解析表达式：
θ=〖（X^T X）〗^(-1) X^T y
对比Normal Equation和gradient decent：
-
缺陷：
- 1.如果X^T X=0,即X^T X不可求逆矩阵怎么办？– –可以删去一些冗余特征or use “regularization”
- 2.当特征的数量特别大的时候，求矩阵的逆会非常的慢。
3 Octave
3.1 Octave安装
3.2 Octave基本操作
3.3 编程作业——Octave实现线性回归
————
参考文献：
1.https://blog.csdn.net/u012052268/article/details/78590474#t1
2.https://www.coursera.org/learn/machine-learning/supplement/HDawH/lecture-slides