分类网络 ResNeXt

文章目录

• 分类网络
• ResNeXt
• 思路来源
• 多分支的通用表达
• 多分支模块的设计与等效表达
• 对比ResNet
• 小结

分类网络

ResNeXt

ResNeXt是在ResNet之后进一步提出的分类网络,看它的名字就知道了.ResNeXt,可以看成ResNet和Next,果然写文章的都是一群取名鬼才.
论文:Aggregated Residual Transformations for Deep Neural Networks
代码

思路来源

作者认为,尽管增大网络的深度和width(指features maps的个数)可能提高模型的准确率,但与此同时带来的是网络的复杂度不断增大.
作者发现,增加网络内部transformation的个数,能够在不增大模型复杂度的前提下,提高模型的精度.增加网络内部transformation的个数即通过增加多个分支来实现.

多分支的通用表达

作者给出了一个表达式,用来囊括表达各种多分支的结构.

如图中所示,共有$C(C=32)$C(C=32)个分支,每个分支记为$T_i$Ti​,对应一种变换(Transformation),每个变换里可能有不同的结构.输入经过每个分支的变换之后,再加和在一起,因此多个分支的变换表达式为:
$F(\bold x) = \sum_{i=1}^CT_i(\bold x)$F(x)=i=1∑C​Ti​(x)
另外还有一条直连结构(shortcut),因此整个模块的表达式为:
$\bold y = \bold x + \sum_{i=1}^CT_i(\bold x)$y=x+i=1∑C​Ti​(x)

多分支模块的设计与等效表达

本着大道至简的原则,作者认为去除"五花八门"的分支(如下图),转而采用同样的分支结构,这样也可以提高模型的鲁棒性,避免在某个数据集上过拟合.

作者提出的分支模块如下图所示,每个分支具有相同的结构.

• 先用$1*1$1∗1的卷积降维
• 进行$3*3$3∗3的卷积
• 再用$1*1$1∗1的卷积升维

下面对该模块进行等效变换.
记3*3卷积的输出为:$h^3_{b,i}$hb,i3​,其中3表示3*3的卷积,$b$b表示分支的编号($b=1,2,...,32$b=1,2,...,32),$i$i表示特征图channel的编号($i=1,2,3,4$i=1,2,3,4).所有分支3*3卷积之后共计有$32*4=128$32∗4=128个$h$h.
$h^1_{b, j}$hb,j1​ 表示1*1卷积之后的输出,$j=1,2,...,256$j=1,2,...,256.
某个分支1*1卷积后的一个输出可表示为:
$h^1_{b, j}=\sum_{i=1}^4w_{b,i,j}h^3_{b,i}$hb,j1​=i=1∑4​wb,i,j​hb,i3​
将所有分支的结果求和,得到所有分支的汇总输出:

$\begin{aligned} y_j &=\sum_{b=1}^{32}h^1_{b, j} \\ &=\sum_{b=1}^{32}\sum_{i=1}^4w_{b,i,j}h^3_{b,i} \end{aligned}$yj​​=b=1∑32​hb,j1​=b=1∑32​i=1∑4​wb,i,j​hb,i3​​
该表达式的本质就是,将每一个分支的每一个通道乘上一个系数,再求和!
也就是说,在计算的时候,其实和分支关系不大.如果对每个分支的每个通道进行统一的编号,编号方式为$k = (b-1)*4+i$k=(b−1)∗4+i,那么上式可改写成:
$y_j = \sum_{k=1}^{128}w_{k,j}h_k^3$yj​=k=1∑128​wk,j​hk3​
根据这个式子,就可以把结构等效成下面这个结构了.

• 先将每个分支3*3卷积的结果堆叠在一起,相当于根据分支对通道进行统一的编号.
• 再将堆叠的结果进行1*1的卷积计算.

concat之后的输出为:
$h_k^3,\\k=1,2,...,128$hk3​,k=1,2,...,128
1*1卷积之后的结果为:
$y_j = \sum_{k=1}^{128}w_{k,j}h_k^3$yj​=k=1∑128​wk,j​hk3​
和第一种结构的式子完全等价!

接下来再进行一次变换.

解释:

• 每个分支的1*1的卷积可以组合在一起计算,计算之后每个分支分4个channels.由于每一个输出channel是依据输入channel进行全连接计算的,因此每个输出Channel之间是独立的.所以分开计算和一起计算等价.
• 再看3*3的卷积,每个分支是在各自的4个channel中计算,正好就是Group Convolution(挖个坑,接下来的博客会专门总结各种卷积方式)的计算方式.

对比ResNet

ResNet的BottleNeck结构:

ResNeXt的BottleNeck结构:

乍一看,两个也长得差不多,主要有两点变化:

• 通道数增加
• 普通卷积换成了分组卷积

二者参数量对比:

网络	参数量
ResNet	$1*1*256*64 + 3*3*64*64+1*1*64*256=69632$1∗1∗256∗64+3∗3∗64∗64+1∗1∗64∗256=69632
ResNeXt	$1*1*256*128+3*3*(128/32)*(128/32)*32 + 1*1*128*256=70144$1∗1∗256∗128+3∗3∗(128/32)∗(128/32)∗32+1∗1∗128∗256=70144

二者参数量相当.

但是ResNeXt增大了通道数和分支数,相当于增大了网络的宽度(width),提高了网络的表达能力(Model Capacity).所以在保持模型复杂度的前提下,提高了模型的精度.

小结

再回头看,其实就是把普通卷积换成了分组卷积 = = .但作者能够关联到网络分支,网络结构的表达能力,并给出一系列的论证,并做了大量的实验来验证想法,或许这就是艺术吧!