一步步理解并实现BP神经网络（三）——反向传播

神经网络的反向传播算法，实际上是基于数学中的链式求导法则，因为在神经网络中寻找的最优化参数为权重 ，在利用迭代法中的梯度下降算法去对目标函数进行优化的时候，需要获取关于 的偏导数，然后去进行梯度下降算法，所以反向传播就是对 进行求导的过程，因其顺序和正向传播的过程是相反的，所以叫做反向传播。
深层次的神经网络的反向传播过程表示为：

反向传播推导：对于反向传播利用计算图的形式进行推导，也就是数学中的链式求导法则。