tensorflow 2.0 随机梯度下降 之 MLP反向传播

6.7 MLP反向传播

• 多输出感知机
• MLP 反向传播推导

多输出感知机

MLP 反向传播推导

总结：
对 于 一 个 输 出 层 的 节 点 $k \in K$k∈K:
$\frac{\partial E}{\partial w_{jk}}=O_j\delta_k$∂wjk​∂E​=Oj​δk​
这 里，
$\delta_k=O_k(1-O_k)(O_k-t_k)$δk​=Ok​(1−Ok​)(Ok​−tk​)
对 于 一 个 隐 藏 层 的 节 点 $j \in J$j∈J:
$\frac{\partial E}{\partial w_{ij}}=O_i\delta_j$∂wij​∂E​=Oi​δj​
这 里，
$\delta_j=O_j(1-O_j)\sum_{k\in K}\delta_k w_{jk}$δj​=Oj​(1−Oj​)k∈K∑​δk​wjk​

正向传播：
$O^J~~-->~~O^K~~-->~~E$OJ  −−>  OK  −−>  E
反向传播：
$\delta^K~~-->~~\frac{\partial E}{\partial w^K}~~-->~~\delta^J~~-->~~\frac{\partial E}{\partial w^J}~~-->~~\delta^L~~-->~~\frac{\partial E}{\partial w^L}$δK  −−>  ∂wK∂E​  −−>  δJ  −−>  ∂wJ∂E​  −−>  δL  −−>  ∂wL∂E​