梯度下降

纸上推导举例---什么是梯度下降,BP算法

BP算法(Back Propagation)

BP算法其实和梯度下降是一样的,只不过是应用于深层网络。
BP算法的核心思想:使用梯度下降来搜索可能的权向量W的假设空间,以找到最佳的拟合样例的权向量。即利用损失函数,每次向损失函数负梯度方向移动,直到损失函数取得最小值。

例子
对下图使用BP算法,根据loss_function,反向传播,不断优化神经网络中的权重W, V
纸上推导举例---什么是梯度下降,BP算法
纸上推导举例---什么是梯度下降,BP算法
参考
纸上推导举例---什么是梯度下降,BP算法

相关文章:

  • 2021-08-05
  • 2021-10-03
  • 2022-12-23
  • 2021-07-12
  • 2021-06-19
  • 2022-12-23
  • 2021-12-02
  • 2021-08-22
猜你喜欢
  • 2021-08-19
  • 2021-09-11
  • 2021-11-09
  • 2021-07-15
  • 2021-08-15
  • 2021-12-31
相关资源
相似解决方案