深度学习系列 - 1*1卷积的作用

$1\times1$1×1卷积作用？

​ NIN(Network in Network)是第一篇探索$1\times1$1×1卷积核的论文，这篇论文通过在卷积层中使用MLP替代传统线性的卷积核，使单层卷积层内具有非线性映射（**函数）的能力，也因其网络结构中嵌套MLP子网络而得名NIN。NIN对不同通道的特征整合到MLP自网络中，让不同通道的特征能够交互整合，使通道之间的信息得以流通，其中的MLP子网络恰恰可以用$1\times1$1×1的卷积进行代替。

​ GoogLeNet则采用$1\times1$1×1卷积核来减少模型的参数量。在原始版本的Inception模块中，由于每一层网络采用了更多的卷积核，大大增加了模型的参数量。此时在每一个较大卷积核的卷积层前引入$1\times1$1×1卷积，可以通过分离通道与宽高卷积来减少模型参数量。

以图1为例，在不考虑参数偏置项的情况下，若输入和输出的通道数为$C_1=16$C1​=16，则左半边网络模块所需的参数为$(1\times1+3\times3+5\times5+0)\times C_1\times C_1=8960$(1×1+3×3+5×5+0)×C1​×C1​=8960；
假定右半边网络模块采用的$1\times1$1×1卷积通道数为$C_2=8$C2​=8$(满足C_1>C_2)$(满足C1​>C2​)，则右半部分的网络结构所需参数量为$(1\times1\times (C_1+3C_2)+3\times3\times C_2 +5\times5\times C_2)\times C_1=5248$(1×1×(C1​+3C2​)+3×3×C2​+5×5×C2​)×C1​=5248 ，
可以在不改变模型表达能力的前提下大大减少所使用的参数量。

​

图1 Inception模块

综上所述，$1\times 1$1×1卷积的作用主要为以下两点 ：

• 实现信息的跨通道交互和整合。
• 对卷积核通道数进行降维和升维(改变通道数)，减小参数量。