7、【李宏毅机器学习（2017）】Backpropagation（反向传播算法）

上一篇博客介绍了深度学习的历史和思想，本篇博客将介绍在神经网络计算中常用的反向传播算法。

---

目录

• 复习
  • Gradient Descent
  • 链式求导法则
• Backpropagation
  • 反向传播算法介绍
  • 前向传播算法和反响传播算法

---

复习

Gradient Descent

在学习反向传播算法之前重新回归一下梯度下降算法，在神经网络求解最优化Loss function所使用的方法就是梯度下降算法，反向传播算法能够在神经网络计算中更高效地计算。

$$

链式求导法则

在神经网络中，因为有着多个隐藏层，所以在计算偏导数的过程中要使用到链式求导法则。

$$

Backpropagation

反向传播算法介绍

Backpropagation的目的是极小化Loss functionL(θ)$L(\theta )$ ，即是每一笔data的loss functionC(θ)$C(\theta )$之和，因此计算L(θ)$L(\theta )$的偏微分等价于计算每一笔C(θ)$C(\theta )$的偏微分，再将之加总。现在对一个观测拿出红色三角区域部分进行分析。

根据链式求导法则∂C∂w=∂C∂z∂z∂w$\frac{\mathrm{\partial }C}{\mathrm{\partial }w}=\frac{\mathrm{\partial }C}{\mathrm{\partial }z}\frac{\mathrm{\partial }z}{\mathrm{\partial }w}$，其中z=x1w1+x2w2+b$z=x_1{w}_1+x_2{w}_2+b$，因此∂z∂w$\frac{\mathrm{\partial }z}{\mathrm{\partial }w}$可以很轻松计求解。

接下来我们开始计算∂C∂z$\frac{\mathrm{\partial }C}{\mathrm{\partial }z}$部分，如下图所示，∂C∂z=∂a∂z∂C∂a=σ′(z)(∂z′∂a∂C∂z′+∂z″∂a∂C∂z″)=σ′(z)[w3∂C∂z′+w4∂C∂z″]$\frac{\mathrm{\partial }C}{\mathrm{\partial }z}=\frac{\mathrm{\partial }a}{\mathrm{\partial }z}\frac{\mathrm{\partial }C}{\mathrm{\partial }a}={\sigma }^{{}^{\prime }}(z)(\frac{\mathrm{\partial }{z}^{{}^{\prime }}}{\mathrm{\partial }a}\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{\prime }}}+\frac{\mathrm{\partial }{z}^{{}^{″}}}{\mathrm{\partial }a}\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{″}}})={\sigma }^{{}^{\prime }}(z)[w_3\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{\prime }}}+w_4\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{″}}}]$

现在开始计算∂C∂z′$\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{\prime }}}$和∂C∂z″$\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{″}}}$——

• 如果z′,z″$z^{{}^{\prime }},z^{{}^{″}}$是最后一个神经元的input
  
  ∂C∂z′=∂y1∂z′∂C∂y1,∂C∂z″=∂y2∂z″∂C∂y2$$\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{\prime }}}=\frac{\mathrm{\partial }{y}_1}{\mathrm{\partial }{z}^{{}^{\prime }}}\frac{\mathrm{\partial }C}{\mathrm{\partial }{y}_1},\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{{}^{″}}}=\frac{\mathrm{\partial }{y}_2}{\mathrm{\partial }{z}^{{}^{″}}}\frac{\mathrm{\partial }C}{\mathrm{\partial }{y}_2}$$
  
  
• 如果z′,z″$z^{{}^{\prime }},z^{{}^{″}}$不是最后一个神经元的input
  

从后面逆向算，先算∂C∂z5,∂C∂z6$\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_5},\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_6}$，此时∂C∂z3=σ′(z3)[w′5∂C∂z5+w″5∂C∂z6]$\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_3}={\sigma }^{{}^{\prime }}(z_3)[w_5^{{}^{\prime }}\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_5}+w_5^{{}^{″}}\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_6}]$，依此类推可以一直算到第一层。

$$

前向传播算法和反响传播算法