一张图理解训练的BP反向传播



经过同学许可,借用他的图来讲讲深度学习的反向传播,不涉及具体推导,宏观把握原理。

深度学习训练过程是训练模型的过程,实质上不过是权值更新的过程(不知理解对不对),即图上公式从W(old)到W(new)的过程,当然这里是循环往复、迭代进行。


h(x)是旧的权值参数和特征向量的内积,是实数。再经过**函数例如sigmoid函数归一化带到网络的预值f(x),最后计算损失函数J,公式里y是标签值,你懂得,预测值与标签值求距离越小代表预测越准,这个J实际就是loss,最下面是权值更新公式,a对应是深度学习的学习率,这样得到w(new)带入h(x) 进行前向传播。

 循环进行,直到J最小,此时的w即是模型里的参数值。

希望讲的够简单明了。


相关文章:

  • 2021-08-16
  • 2021-07-25
  • 2021-10-12
猜你喜欢
  • 2021-08-04
  • 2022-01-06
  • 2021-07-06
  • 2021-05-26
  • 2021-11-12
  • 2021-06-22
  • 2021-08-29
相关资源
相似解决方案