EfficientNet[2019-ICML]

Motivation

卷积神经网络（ConvNets）通常是在固定的资源预算下发展起来的，如果有更多的资源可用的话，则会扩大规模以获得更好的精度，比如可以提高网络深度(depth)、网络宽度(width)和输入图像分辨率 (resolution)大小。但是在计算资源受限的前提下，由于depth、width、resolution三者的组合甚多[自行脑补why]，往往很难确定一个最优的组合来获取最佳的模型。基于此，Google研究团队提出了EfficientNet，它使用一个简单而高效的网格搜索来得到复合系数，从depth、width、resolution三个维度同时调整网络，使得网络在同等参数量、计算量的情况下，性能大幅提升！       

        

Details

• Width, depth or Resolution ?

   

1. 调整模型宽度、深度、分辨率中的任意维度，都可以提升性能，但是性价比随着模型的变大而降低；
2. 为了获取更好的accuracy和efficiency，对模型宽度、深度、分辨率三者的调整至关重要！

• Compound Scaling 

                                                

• EfficientNet-B0

                                                         

Experiment

• Accuracy, Params, FLOPS

                 

• FLOPS vs. ImageNet Accuracy

                                                 

Reference

[1]. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[2019-ICML]