三、pytorch之感知机和MLP梯度推导

1.单层感知机

σ只有一个，其中。

求导过程：

2.多层感知机

，其中

求导过程：

3.MLP反向传播

E对Wjk过程如第2点，略：

E对Wij过程：

，

总结：

即，Wij与当前节点i的值和j到输出层的信息有关，以上式子内部都是已知的，然后通过反向传播求出E对所有层W的偏导数，进而求得各W的梯度，来更新W,不停的更新W。