先区别一下前向传播和反向传播
前向传播是输入层输入的数据(即样本)开始从前向后,一步步将数据传输到输出层,反向传播即反过来,从后向前一步步还原到输入层。
反向传播的作用就是用于权重的更新,使神经网络的结果更接近于标签
那么怎么衡量这个接近呢?我们要用到损失函数loss,来衡量模型的输出与真实标签的差异
反向传播的原理就要用到我们常用的微积分中的链式求导法则即
相比于正向传播,反向传播就是通过链式求导法则反推出
从x到y为正向传播,从y反推出x为方向传播
公式如下:
先区别一下前向传播和反向传播
前向传播是输入层输入的数据(即样本)开始从前向后,一步步将数据传输到输出层,反向传播即反过来,从后向前一步步还原到输入层。
反向传播的作用就是用于权重的更新,使神经网络的结果更接近于标签
那么怎么衡量这个接近呢?我们要用到损失函数loss,来衡量模型的输出与真实标签的差异
反向传播的原理就要用到我们常用的微积分中的链式求导法则即
相比于正向传播,反向传播就是通过链式求导法则反推出
从x到y为正向传播,从y反推出x为方向传播
公式如下:
相关文章: