week2-2.Multivarite Linear Regression

一、Multiple Features

多变量(multiple features/variable)的一些定义:
吴恩达机器学习笔记--第二周-2.多变量的线性回归
改写后的假设:
吴恩达机器学习笔记--第二周-2.多变量的线性回归

二、Gradient Descent for Multiple Variables

吴恩达机器学习笔记--第二周-2.多变量的线性回归
将theta0、theta1······thetan看做一个n+1维的theta向量;
将J看做theta向量的函数。
吴恩达机器学习笔记--第二周-2.多变量的线性回归
只有一个变量/特征值(n=1)与有多个变量(n>=1)时梯度下降的计算方法:
吴恩达机器学习笔记--第二周-2.多变量的线性回归

三、Gradient Descent in Practice I-Feature Scaling

特征缩放(features scaling)
使不同特征的取值范围变得接近,从而使算法更快收敛,迭代次数减少:
吴恩达机器学习笔记--第二周-2.多变量的线性回归
这里将特征值除以它的最大值。
特征/变量的取值范围不能太大也不能太小:
吴恩达机器学习笔记--第二周-2.多变量的线性回归
均值归一化(mean normalization):
吴恩达机器学习笔记--第二周-2.多变量的线性回归
吴恩达机器学习笔记--第二周-2.多变量的线性回归

四、Gradient Descent in Practice II-Learning Rate

如何检测梯度下降算法是否已经收敛:
吴恩达机器学习笔记--第二周-2.多变量的线性回归
建议看图来判断算法是否收敛/正常工作。
代价函数变化不正常时通常需要重新选择较小的学习率alpha:
吴恩达机器学习笔记--第二周-2.多变量的线性回归
如何合理选择学习率alpha?
从小的数开始,不断*3,在使算法合理快速收敛的前提下,选择尽可能大的学习率alpha:
吴恩达机器学习笔记--第二周-2.多变量的线性回归

五、Feature and Polynomial Regression

多项式回归(polynomial regression)
吴恩达机器学习笔记--第二周-2.多变量的线性回归
二次拟合最后曲线会降->也许应该改用三次,此时更应该注意对数据进行标准化。
吴恩达机器学习笔记--第二周-2.多变量的线性回归
也可用1/2次拟合。

相关文章:

  • 2021-11-23
  • 2021-08-27
  • 2021-08-14
  • 2021-04-01
猜你喜欢
  • 2021-12-10
  • 2022-12-23
  • 2021-08-01
  • 2021-04-16
  • 2021-10-20
  • 2021-12-14
  • 2021-07-30
相关资源
相似解决方案