《吴恩达机器学习》第五章笔记

这里第五章：多变量线性回归

• 多变量线性回归的定义
• 对应的多元梯度下降
• 特征缩放
• 学习率
• 多项式的扩展
• 正规方程求解
• 正规方程中逆不存在时

多变量线性回归的定义

• 指每一样样本中，不只是有一个特征量，而是多个
• 我们为了保持通过另常数项对应的特质量设置为1，直接构成一n+1纬度的向量
• $h_\theta(x) = \theta ^{T}X=X^{T}\theta$hθ​(x)=θTX=XTθ

对应的多元梯度下降

特征缩放

含义：尽量使得每个特征都位于-1～1之间，使得梯度下降的过程更加的快速直接

• $x_1 = \frac{x_1-u_1}{S_1}$x1​=S1​x1​−u1​​其中，$u_1$u1​指平均值，$s_1$s1​指特征值的范围，$max-min$max−min

学习率

学习率$\alpha$α是梯度下降中很重要的一个参数

• 1、如何确保梯度下降正常运行
  分析通过损失函数，判断是否限于某一个阀值进行判断
  通过观察在某个学习率下，损失函数随着迭代次数的变量曲线来判断

• 2、这么选择学习率
  从0.01以3倍的方式进行增加，不断尝试

• 常见的问题
  1、学习如果太小了，收敛太慢了
  2、学习太大了，一般会有损失函数不断变大或者波动变化
  

多项式的扩展

其实我们可以根据曲线的形式，对每个原始特征量进行选择，即组合成新的特征量，如n次方的形式，即可以通过自由的选择特征量，来拟合复杂曲线

正规方程求解

通过利用线性代数中的投影方式，来直接求解对应的参数结果

• 优点：1、不要考虑很多的参数，如学习率，直接求解 2、无迭代 3、不需要特征缩放
• 缺点：当特征量很大的时候，不好使用，而且
  注意，即使在特征数目很大的情况下，梯度下降还是可以正常运行的

正规方程中逆不存在时

对应着：
1、包含了多余的特征
2、如样本数目<<特征量，我们需要删除某些特征，同时需要进行正则化
octave 中prinv(A)在逆不存在时，会输出伪逆。