1.MobileNet变迁
MobileNetV1利用了深度可分离卷积降低参数及计算量,提高了计算效率。
MobileNetV2则加入了线性bottlenecks逆残差模块构成了高效的基本模块。
MobileNetV3是综合了以下三种模型的思想:MobileNetV1的深度可分离卷积(depthwise separable convolutions)、MobileNetV2的具有线性瓶颈的逆残差结构(the inverted residual with linear bottleneck)和MnasNet的基于SE(squeeze and excitation)结构的轻量级注意力模型。将最后一步的平均池化层前移并移除最后一个卷积层,引入h-swish**函数。
2.互补搜索技术组合
由资源受限的NAS执行模块级搜索,NetAdapt执行局部搜索。
1)资源受限的NAS(platform-aware NAS):计算和参数量受限的前提下搜索网络的各个模块,所以称之为模块级的搜索(Block-wise Search)。
2)NetAdapt:用于对各个模块确定之后网络层的微调。
对于模型结构的探索和优化来说,网络搜索是强大的工具。研究人员首先使用了神经网络搜索功能来构建全局的网络结构,随后利用了NetAdapt算法来对每层的核数量进行优化。对于全局的网络结构搜索,研究人员使用了与Mnasnet中相同的,基于RNN的控制器和分级的搜索空间,并针对特定的硬件平台进行精度-延时平衡优化,在目标延时(~80ms)范围内进行搜索。随后利用NetAdapt方法来对每一层按照序列的方式进行调优。在尽量优化模型延时的同时保持精度,减小扩充层和每一层中瓶颈的大小。
3.网络结构的改进
为了在保留高维特征的前提下减小延时,将平均池化前的层移除并用1*1卷积来计算特征图。特征生成层被移除后,先前用于瓶颈映射的层也不再需要了,这将为减少10ms的开销,在提速15%的同时减小了30m的操作数。
4.网络结构
MobileNetV3-Large和MobileNetV3-Small两种不同大小的网络结构。
5.性能比较6.用于语义分割Lite R-ASPP.