台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation
当网络结构很复杂时，会有大量的参数。∇L(θ)是百万维的向量。如何高效地计算百万维的参数，使用反向传播算法来计算。BP并非是一个和GD不同的训练方法，BP就是GD，只是是一种比较有效率的计算方法。
数学知识铺垫：微积分中的链式法则，很简单。
还是以上节中手写数字识别为例。
xn是一张输入图片，yn是网络的输出label向量，y^n是该图片的真值label向量。Cn是输出值和真实值的交叉熵损失。定义L(θ)为损失函数。
L(θ)=∑n=1NCn(θ)
损失函数对参数的导数为：
∂L(θ)∂w=∑n=1N∂Cn(θ)∂w
如下图所示：∂C∂w=∂z∂w∂C∂z，Backpropagation算法分为两个过程。
Forward pass
首先计算前向传播中的∂z∂w。以上图为例。
∂z∂w1=x1
∂z∂w2=x2
显然这一步比较简单，某一参数的微分值就是其对应的输入值。注意要把所有∂z∂w的值计算出来。
Backward pass
然后计算反向传播中损失函数对于**函数输入值的偏微分∂C∂z。
如下图中所示：∂C∂z=∂a∂z∂C∂a，∂a∂z=σ′(z)。
利用链式法则计算∂C∂a.
稍微整理一下，成为下图这样。
下图中很形象地展示了反向传播的概念，σ′(z)类似模拟电路中的放大器。
最后一步是计算∂C∂z′和∂C∂z′′。这分两种情况：1)z′和z′′的下一层是输出层；2)z′和z′′的下一层不是输出层。
Case1:输出层
Case2:非输出层
不断地递归计算∂C∂z，直至输出层，如下图。
注意：在backward pass过程中也需要对所有的z，计算出∂C∂z.
Summary
一图胜千言。
相关文章：