目的:为计算能力非常有限(例如10-150 MFLOP)的移动设备追求最佳准确性
方法:逐点组卷积(解决1×1的卷积计算复杂度)、通道混洗(增强了全局信息的流通)
通道混洗
原文链接
对于一个卷积层分为g×n组,
1.有g×n个输出通道
2.reshape为(g,n)
3.再转置为(n,g)
4.平坦化,再分回g组作为下一层的输入
组卷积
几种常见卷积:标准卷积、深度可分离卷积、扩展卷积、组卷积
深度可分离卷积:减少了参数量,并将标准卷积同时处理区域和通道的过程分离成两个独立的过程。
扩展卷积:利用添加空洞扩大感受野,让原本3x3的卷积核,在相同参数量和计算量下拥有5x5或者更大的感受野,从而无需下采样,解决信息损失的问题。
组卷积:将输入图像的通道分g组。并行的运算g个相同的卷积过程,每个过程里(每组),输入数据为H1×W1×C1/g,卷积核大小为h1×w1×C1/g,一共有C2/g个,输出数据为H2×W2×C2/g,再用concatenate的方式组合起来,最终的输出数据的通道仍旧是C2。能够减少训练参数,不容易过拟合。