步长大于1时卷积神经网的反向传播

关于卷积神经网络的正向和反向传播网上已经有了大量的技术指导，但是绝大部分都止步于卷积核步长为1，且通道数为1的简单的示意性的推导，当步长为2时，大多数的教程都语焉不详，或直接跳过。我在这里就对步长为2以上的卷积操作进行详细讨论。本文假设读者已经基本掌握神经网络的链式求导法则，所以不会再讲这些细节。另外，本文只考虑卷积操作的正向和反向传播，如果想对池化层的相应过程做了解可以直接移步参考文献。

申明：本文所涉及的卷积不对卷积核做180°翻转操作。

---

1. 一些记号

我们以l$l$代表层数，Hl$H^l$，Wl$W^l$代表第l$l$层图像的长和宽，nl$n^l$代表第l$l$层的通道数。wl$w^l$代表第l$l$层的卷积核，它的形状为（k1，k2，nl)$（k_1，k_2，n^l)$，而bl$b^l$是偏置项，形状为（1，1，nl)$（1，1，n^l)$。步长用sl$s^l$表示，由于我们只看其中一层的传播的，所以下文忽略这个步长的上标l$l$，用s$s$表示。Zl$Z^l$是**前的线性组合，Al$A^l$代表**后的输出，有Al=g(Zl)$A^l=g(Z^l)$，而g(·)$g(·)$则是**函数。其中，Zl$Z^l$和Al$A^l$是相同形状的三维张量，形状为(Hl,Wl,nl)$(H^l,W^l,n^l)$。

另外总的代价函数为J$J$， ∂J∂w$\frac{\mathrm{\partial }J}{\mathrm{\partial }w}$代表代价函数对卷积核参数的梯度，我们简写用dw$dw$表示， 同样还有误差敏感项∂J∂Z$\frac{\mathrm{\partial }J}{\mathrm{\partial }Z}$，简写作dZ$dZ$。

另外，关于坐标的记号：
上文中所述的Al，Zl，wl$A^l，Z^l，w^l$都是三维矩阵（张量），前两个维度表示平面2D坐标（第一个维度指示行，第二个维度指示列），最后一个维度代表通道。在具体表示某一个元素时，我会用脚标的形式给出，例如Zli,j,k（i=0,1,…,Hl−1;j=0,1,…,Wl−1;k=0,1,…,nl−1）$Z_{i,j,k}^l（i=0,1,\dots ,H^l-1;j=0,1,\dots ,W^l-1;k=0,1,\dots ,n^l-1）$代表第k号通道下第i行第j列的元素（注意i，j，k都是从0开始计数的）。而有时候，我们会想表示某个通道的全部元素，例如wl·,·,k′$w_{·,·,k^{\prime }}^l$代表第l$l$层第k′$k^{\prime }$个卷积核的全部元素，这时它是一个二维的矩阵（相当于对原来的三维张量wl$w^l$做了切片操作）。

2. 前向传播

我们先看卷积核的滑动过程，假设我们有一张7×7的图片（这里只画出来了一个通道），卷积核大小为3×3，步长为2，那么卷积过后可以得到3×3的图片。

彩色画笔标出来的框框代表了卷积核滑动后产生结果。相信聪明的你一定看的明白。

现在我们讨论一下卷积前后坐标的变化情况：
我们看卷积后的小图片（等号右边3×3的图片），它的左上角(0,0)$(0,0)$对应了7×7的大图片上(0,0)$(0,0)$到(2,2)$(2,2)$的所有方格（蓝色线所覆盖的方格）。而小图片上红色点(0,1)$(0,1)$对应了大图片(0,2)$(0,2)$到(2,4)$(2,4)$的方格，绿色粗点(0,2)$(0,2)$则对应了(0,4)$(0,4)$到(2,6)$(2,6)$的方格。所以，卷积后的坐标(i,j)$(i,j)$对应了卷积前(i∗s,j∗s)$(i\ast s,j\ast s)$到(i∗s+k1−1,j∗s+k2−1)$(i\ast s+k_1-1,j\ast s+k_2-1)$的坐标。

综上，我们抽象出前向传播的过程，如下所示：

Zli,j,k=∑k′=0nl−1−1∑m=0k1−1∑n=0k2−1Al−1i∗s+m,j∗s+n,k′∗wlm,n,k+blk$$Z_{i,j,k}^l=\sum _{k^{\prime }=0}^{n^{l-1}-1}\sum _{m=0}^{k_1-1}\sum _{n=0}^{k_2-1}{A}_{i\ast s+m,j\ast s+n,k^{\prime }}^{l-1}\ast w_{m,n,k}^l+b_k^l$$

Ali,j,k=g(Zli,j,k)$$A_{i,j,k}^l=g(Z_{i,j,k}^l)$$

式中：

i=0,1,…,Hl−1;$$i=0,1,\dots ,H^l-1;$$

j=0,1,…,Wl−1;$$j=0,1,\dots ,W^l-1;$$

k=0,1,…nl−1;$$k=0,1,\dots n^l-1;$$

其中，卷积前后图片长度H$H$和宽度W$W$的变化情况如下：

Hl=⌊Hl−1−k1s⌋+1;$$H^l=\lfloor \frac{H^{l-1}-k_1}{s}\rfloor +1;$$

Wl=⌊Wl−1−k2s⌋+1;$$W^l=\lfloor \frac{W^{l-1}-k_2}{s}\rfloor +1;$$

公式解释：⌊·⌋$\lfloor ·\rfloor$是向下取整操作，Al−1$A^{l-1}$代表了卷积前的大图片， Zl$Z^l$就是卷积后的小图片，它们之间的坐标存在一个s$s$的倍数关系。其中最左边的累加号代表对卷积核wl·,·,k$w_{·,·,k}^l$对Al$A^l$的所有通道做了2D的卷积操作，第二个和第三个累加就是具体某一层的二维卷积操作，稍加推导你就能明白。

3. 反向传播

3.1 dw$dw$的求法

我们知道wl$w^l$是一个三维的张量，Zl$Z^l$也是三维的张量，而且两者的第三个维度，也就是通道维是相等。形象的说，第一个卷积核wl·,·,0$w_{·,·,0}^l$对Al−1$A^{l-1}$做卷积可以得到Zl$Z^l$的第一个通道，即Zl·,·,0$Z_{·,·,0}^l$，那么第二个卷积核wl·,·,1$w_{·,·,1}^l$对Al−1$A^{l-1}$做卷积可以得到Zl$Z^l$的第二个通道，即Zl·,·,1$Z_{·,·,1}^l$。所以wl·,·,k′$w_{·,·,k^{\prime }}^l$仅仅通过Zl·,·,k′$Z_{·,·,k^{\prime }}^l$对代价函数J$J$的误差做出贡献，那么误差反向传播回来的时候，也就是当我们求dwm′,n′,k′$d{w}_{m^{\prime },n^{\prime },k^{\prime }}$时，不需要对通道维做累加，只需要对平面的两个维度做累加即可。

用公式来描述就是：

dwlm′,n′,k′=∑i∑j∂J∂Zli,j,k′∗∂Zli,j,k′∂wlm′,n′,k′$$d{w}_{m^{\prime },n^{\prime },k^{\prime }}^l=\sum _i\sum _j\frac{\mathrm{\partial }J}{\mathrm{\partial }{Z}_{i,j,k^{\prime }}^l}\ast \frac{\mathrm{\partial }{Z}_{i,j,k^{\prime }}^l}{\mathrm{\partial }{w}_{m^{\prime },n^{\prime },k^{\prime }}^l}$$

那么平面上两个的坐标i,j$i,j$满足什么样的条件呢？

假设在下面这幅图中，我们要求dw1,1,k′$d{w}_{1,1,k^{\prime }}$（k′=0,1…，nl−1$k^{\prime }=0,1\dots ，n^l-1$），卷积核(1,1)$(1,1)$上的参数（红点）在大图片（Al−1$A^{l-1}$）上滑过的位置由红点标出，而做卷积的结果则显示在了小图片的红点上。

所以，卷积结果的二维坐标i,j$i,j$会布满整个输出的图像，公式如下：

dwlm′,n′,k′=∑K=0nl−1−1∑i=0Hl−1∑j=0Wl−1Al−1m′+i∗s,n′+j∗s,K∗dZli,j,k′$$d{w}_{m^{\prime },n^{\prime },k^{\prime }}^l=\sum _{K=0}^{n^{l-1}-1}\sum _{i=0}^{H^l-1}\sum _{j=0}^{W^l-1}{A}_{m^{\prime }+i\ast s,n^{\prime }+j\ast s,K}^{l-1}\ast d{Z}_{i,j,k^{\prime }}^l$$

3.2 dZ$dZ$的求法

上一个求dw$dw$的式子中，我们假设dZ$dZ$是已知的。现在我们来求dZ$dZ$。由于我们这里只画出了一层卷积层，即第l$l$层，所以我们就根据dZl$d{Z}^l$求dZl−1$d{Z}^{l-1}$。

注意在这里，求dZl−1$d{Z}^{l-1}$时，我们需要对通道数做累加，因为卷积核wl·,·,k′$w_{·,·,k^{\prime }}^l$(k′=0,1…nl−1$k^{\prime }=0,1\dots n^l-1$)是对Zl−1$Z^{l-1}$的所有通道做卷积操作（其实是直接对Al−1$A^{l-1}$做卷积，但是Al−1$A^{l-1}$和Zl−1$Z^{l-1}$的元素是一一对应的，所以在计算图上两者地位是一致的），从而得到Zl·,·,k′$Z_{·,·,k^{\prime }}^l$对误差做贡献的。

形象的画图表示就是这样：

所以对于特定的一层Zl−1·,·,k′$Z_{·,·,k^{\prime }}^{l-1}$，它的梯度是需要对通道做累加的。
公式如下：

dZl−1i′,j′,k′=∑k=0nl−1∑i∑j∂J∂Zli,j,k∗∂Zli,j,k∂Zl−1i′,j′,k′$$d{Z}_{i^{\prime },j^{\prime },k^{\prime }}^{l-1}=\sum _{k=0}^{n^l-1}\sum _i\sum _j\frac{\mathrm{\partial }J}{\mathrm{\partial }{Z}_{i,j,k}^l}\ast \frac{\mathrm{\partial }{Z}_{i,j,k}^l}{\mathrm{\partial }{Z}_{i^{\prime },j^{\prime },k^{\prime }}^{l-1}}$$

同样的，下面讨论平面上两个的坐标i,j$i,j$满足什么样的条件。看图说话：

假设我们要求的是紫色标出来的方格（2,2）$（2,2）$处的dZl−12,2,k′$d{Z}_{2,2,k^{\prime }}^{l-1}$，那么卷积核上滑过该点的位置分别是红色点（2,2）$（2,2）$，绿色点（2,0）$（2,0）$ ，蓝色点（0,2）$（0,2）$和棕色点（0,0）$（0,0）$，产生在Zl$Z^l$上的结果也由个颜色对应的点位所示。抽象成数学式子就是：

dZl−1i′,j′,k′=∑k=0nl−1∑i∑jdZli,j,k∗wli′−j∗s,j′−j∗s,k∗g′(Zi−1i′,j′,k′)$$d{Z}_{i^{\prime },j^{\prime },k^{\prime }}^{l-1}=\sum _{k=0}^{n^l-1}\sum _i\sum _{j}d{Z}_{i,j,k}^l\ast w_{i^{\prime }-j\ast s,j^{\prime }-j\ast s,k}^l\ast g^{\prime }(Z_{i^{\prime },j^{\prime },k^{\prime }}^{i-1})$$

式中：

i′−k1s<i⩽min(i′s,Hl−1),i∈N$$\frac{i^{\prime }-k_1}{s}<i⩽min(\frac{i^{\prime }}{s},H^l-1),i\in N$$

j′−k2s<j⩽max(j′s,Wl−1),j∈N$$\frac{j^{\prime }-k_2}{s}<j⩽max(\frac{j^{\prime }}{s},W^l-1),j\in N$$

建议各位旁友拿起纸和笔推导一下，尤其上面两个关于i,j$i,j$的限制条件。

3.3 db$db$的求法

db$db$最为简单，我们直接给出结果：

dblk′=∑i=0Hl−1∑j=0Wl−1dZli,j,k′$$d{b}_{k^{\prime }}^l=\sum _{i=0}^{H^l-1}\sum _{j=0}^{W^l-1}d{Z}_{i,j,k^{\prime }}^l$$

参考文献

http://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/