视频来源:

李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

https://www.bilibili.com/video/av10590361/?p=6

李宏毅机器学习笔记六——Gradient Descent

使用GD的注意事项:

(1)小心的调节Learning  rate

李宏毅机器学习笔记六——Gradient Descent李宏毅机器学习笔记六——Gradient Descent

李宏毅机器学习笔记六——Gradient Descent

在因材设计不同的learning rate的时候采用的主要方法:

Adagrad:

李宏毅机器学习笔记六——Gradient Descent

李宏毅机器学习笔记六——Gradient Descent

李宏毅机器学习笔记六——Gradient Descent

2.SGD(Stochastic Gradient Dscent)

每次只拿出一个样本例子,进行GD的更新(特征就是快“试图以小见大吗??”)

李宏毅机器学习笔记六——Gradient Descent

优点:更快速

李宏毅机器学习笔记六——Gradient Descent

3.特征缩放

李宏毅机器学习笔记六——Gradient Descent

4.梯度下降法的问题

(1)容易陷入局部最优解

(2)在实际的计算计算中会设置一个比较小的值让其,但位置最高点附近的值有时候也会满足,所以说就是不能根据获得的值的大小判断具体的矩离最优解的远近 

(3)在一些点处(除了局部最优解saddle point)导数也会为0

李宏毅机器学习笔记六——Gradient Descent


相关文章:

  • 2021-10-12
  • 2021-08-27
  • 2021-06-17
  • 2021-06-14
  • 2022-01-21
  • 2021-05-17
  • 2021-11-17
  • 2021-11-11
猜你喜欢
  • 2021-10-08
  • 2021-12-07
  • 2021-07-23
  • 2021-05-14
  • 2021-04-05
  • 2021-07-26
  • 2021-08-24
相关资源
相似解决方案