后向传播的简单推导过程

对于如下简单的神经网络，其输入是i1，i2，输出是o1,o2，w，b参数如下所示：

暂时不考虑具体数值，在bp过程中，我们会对每个参数做梯度下降，这里考虑最简单的梯度下降方式

 

假设以均方误差作为损失函数：

 

这里w5,w6,w7,w8类似，过程如下：

以w5为例，对于梯度下降过程：

这里需要求

而η是学习率。

 

对于

根据链式求导法则：

第一部分是loss function对pred_y的求导

第二部分是sigmoid的导数

第三部分是线性函数的求导

 

同样的对于w1,w2,w3,w4，以w1为例：

根据链式求导法则：

这里就第一部分有区别，h1和o1，o2都有关系，所以这一部分：

 

对于o2同理。

梯度下降过程：