梯度下降原理及其过程:https://blog.csdn.net/qq_41800366/article/details/86583789

有限差分估计梯度:

梯度下降、反向传播原理,计算图

写起来简单,但速度慢而且结果区分度不大

 

解析梯度:

计算图:

梯度下降、反向传播原理,计算图

 

反向传播工作机制:

从输出开始乘以每个节点的本地梯度,一直传递到输入

梯度下降、反向传播原理,计算图

梯度从后向前传播(链式法则)

 

梯度下降、反向传播原理,计算图

 

梯度下降、反向传播原理,计算图

 

 

sigmoid函数:

梯度下降、反向传播原理,计算图

 

 

加法门、max门、乘法门:

加法门相当于分配梯度

max门相当于路由器,将梯度传给上游最大值所在节点

乘法门相当于转换器

梯度下降、反向传播原理,计算图

 

 

多个神经元在节点处相加的梯度等于每个神经元的梯度相加的和

梯度下降、反向传播原理,计算图

 

梯度下降、反向传播原理,计算图

 

 向量的反向传播:

梯度下降、反向传播原理,计算图

 

反向传播api:

梯度下降、反向传播原理,计算图

 

例:

梯度下降、反向传播原理,计算图

 

 

 summary:

梯度下降、反向传播原理,计算图

 

 

 

 

 

 

1

相关文章:

  • 2022-12-23
  • 2021-07-23
  • 2021-11-16
  • 2021-11-14
  • 2021-09-20
  • 2022-12-23
  • 2022-01-18
猜你喜欢
  • 2021-04-10
  • 2022-01-05
  • 2022-01-07
  • 2022-01-06
  • 2022-12-23
相关资源
相似解决方案