1.梯度迭代

a>0时,负梯度方向,是函数值下降方向

《最优化导论》-8梯度方法

1.1梯度下降法

当接近极小值时,梯度接近0,通用形式如下,有一些具体实现:

《最优化导论》-8梯度方法

1)最速下降法

梯度下降的一种具体实现,理念是在每次迭代时,选择最佳合适的步长ak,使得目标函数值最大程度的减少。

《最优化导论》-8梯度方法

流程:初始迭代点出发,沿负梯度方向开展前面说的一维搜索,找到最优步长a,从而确定新的迭代出发点,不断这样,直至收敛(实际小于某些阀值即可)。

可以发现,最速下降法的相邻搜索方向,是正交的,证明:8.1。

《最优化导论》-8梯度方法

2)二次型中的使用

《最优化导论》-8梯度方法

《最优化导论》-8梯度方法

则:

《最优化导论》-8梯度方法

二次型中最佳步长解析式

《最优化导论》-8梯度方法

瑞丽不等式:

《最优化导论》-8梯度方法

《最优化导论》-8梯度方法

 

 

相关文章:

  • 2021-08-29
  • 2022-01-12
  • 2021-08-11
  • 2021-07-15
  • 2021-09-11
  • 2022-12-23
  • 2021-07-31
  • 2022-01-17
猜你喜欢
  • 2021-11-01
  • 2021-12-25
  • 2021-06-05
  • 2022-12-23
  • 2021-12-25
  • 2021-05-10
相关资源
相似解决方案