MobileNet V2
文献：MobileNetV2: Inverted Residuals and Linear Bottlenecks
创新点
- 【线性瓶颈（Linear Bottlenecks）】。V2 去掉了第二个 PW 的**函数。
- 【反转残差单元（Inverted residuals）】。V2 在 DW 卷积之前新加了一个 PW 卷积。
Linear Bottlenecks
论文里面做了这么一个实验，如下图。普遍意义上来说，非线性**单元会造成信息的丢失，要缓解这种丢失，非线性单元输入维度应尽可能的高。
图1 嵌入高维空间中的低维流形的ReLU转换示例。 在这些示例中，使用随机矩阵T和ReLU将初始螺线嵌入到n维空间中，然后使用T -1（逆）投影回2D空间。 在上面的示例中，n = 2,3导致信息丢失，其中流形的某些点彼此折叠，而对于n = 15到30，则转换是高度非凸的。
Inverted residuals
正常的残差单元，是先将输入降维（0.25倍），再卷积，再升维，而反转残差单元是先将输入升维（6倍），再卷积，再降维。ResNet 的基本组件结构是沙漏形，而 MobileNet V2 则是纺锤形，刚好相反。
ResNet及DenseNet等一系列采用shortcut的网络的成功，给予了MobileNet-V2灵感。
【mobilenetv2深度解析】与上节相似，不能在bottleneck层直接卷积非线性，这样会造成信息损失，先将他维度扩张，再卷积非线性，此次有用信息只是位于输出的子空间里，再收缩，shortcut直接连接两个bottleneck层就好了。切记第二个bottleneck前面不用非线性单元，否者就没用了。
对比MobileNet V1 与 V2 的基本组件
MobileNet V2在V1的采用DW+PW组合卷积的基础上做了两处修改：1. V2 在 DW 卷积之前新加了一个 PW 卷积。【反转残差单元（Inverted residuals）】 和 2.V2 去掉了第二个 PW 的**函数。【线性瓶颈（Linear Bottlenecks）】。
图 MobileNet V2 的基本组件
MobileNet V2 网络结构
参考文献：