构造:输入神经元个数等于输入向量维度,输出神经元个数等于输出向量维度。(x1=(1,2,3),则需要三个输入神经元
前馈神经网络-反向传播(Back Propagation)公式推导走读
 
一 前向后传播
 
隐层:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
输出层:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
 
一般化前馈神经网络-反向传播(Back Propagation)公式推导走读,向量表示  前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
 
 
二 反向传播
 
 
1计算梯度delta:均方误差,利用了sigmoid函数导数的有趣性。
输出层梯度:前馈神经网络-反向传播(Back Propagation)公式推导走读 -->  eg. 前馈神经网络-反向传播(Back Propagation)公式推导走读
隐层梯度:前馈神经网络-反向传播(Back Propagation)公式推导走读  -->   eg. 前馈神经网络-反向传播(Back Propagation)公式推导走读
 
 
2更新权重:前馈神经网络-反向传播(Back Propagation)公式推导走读
eg输出层:前馈神经网络-反向传播(Back Propagation)公式推导走读
eg隐层:前馈神经网络-反向传播(Back Propagation)公式推导走读
 

 
备注 反向传播的公式推导
0目标函数:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
1梯度下降法优化目标函数前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读, 怎么计算出误差对于每个权重的偏导数呢?
前馈神经网络-反向传播(Back Propagation)公式推导走读
2netj是第j个神经元的加权输入作为传导,链式求导法则 : 前馈神经网络-反向传播(Back Propagation)公式推导走读,。
                    前馈神经网络-反向传播(Back Propagation)公式推导走读
区分输出层隐藏层两种情况:
3.1 输出层: 借用yj作为传导,netj和Ed都是与yj有关的函数,链式求导法则:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
第一项:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读     第二项:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
带入前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读,所以输出层梯度:前馈神经网络-反向传播(Back Propagation)公式推导走读前馈神经网络-反向传播(Back Propagation)公式推导走读
 
3.2隐层:借用节点的所有直接下游节点的集合Downstream(j),链式法则:aj
 前馈神经网络-反向传播(Back Propagation)公式推导走读
前馈神经网络-反向传播(Back Propagation)公式推导走读
 
带入求得梯度前馈神经网络-反向传播(Back Propagation)公式推导走读
 
 前馈神经网络-反向传播(Back Propagation)公式推导走读
备注:
激活函数: sigmoid函数是一个非线性函数,导数有趣,可用自身表示。
前馈神经网络-反向传播(Back Propagation)公式推导走读
 
 前馈神经网络-反向传播(Back Propagation)公式推导走读
 
 
 参考:网络博客

相关文章:

  • 2021-07-18
  • 2021-12-28
  • 2021-11-07
  • 2021-10-05
  • 2021-10-05
  • 2021-07-05
  • 2021-10-01
  • 2021-09-19
猜你喜欢
  • 2021-12-03
  • 2022-12-23
  • 2021-12-14
  • 2021-12-10
  • 2021-04-16
  • 2021-07-28
  • 2022-01-02
相关资源
相似解决方案