在CNN中ResNet和EfficientNet骨干网络理解记录

背景

分类竞赛至今，产生了一系列的优秀骨干特征网络，从2014年经典的alexnet到vgg，resnet和densenet，乃至最新谷歌的EfficientNet，个人发现基本目前大多数模型都会选择resnet网络作为前置网络进行训练和推理。

 

resnet网络

主流采用的有ResNet18，ResNet34，ResNet50，ResNet101等。数字代表的是网络的深度，也就是说ResNet18 网络就是指定的是带有权重的 18层，主要是包括卷积层和全连接层，不包括池化层和BN层。扩大卷积神经网络被广泛用于获得更好的精度。例如，ResNet可以通过使用更多的层从ResNet-18扩展到ResNet-200。

 

                                                               resnet18和resnet50
 

                       

pytorch的resnet：https://blog.csdn.net/weixin_40548136/article/details/88820996   https://blog.csdn.net/qq_34107425/article/details/104128626

EfficientNet

        resnet扩大卷积神经网络被广泛用于获得更好的精度。例如，ResNet可以通过使用更多的层从ResNet-18扩展到ResNet-200;最近，GPipe将基线模型放大4倍，实现了84.3%的ImageNet top-1精度。 然而在扩大卷积神经网络的过程中，很多特征并没有被很好的学到，最常用的扩展方法是扩展深度和宽度，还有一种不太常见的是扩展像素来提高精度。 在以前的工作中，通常只能在三个维度中选择一个——深度、宽度和图像大小。虽然可以任意缩放两个或三个维度，但是任意缩放需要繁琐的手工调整，而且仍然会产生次优的精度和效率。

作者想要研究和重新思考扩大卷积神经网络的过程。特别研究了核心问题:是否有一种原则性的方法来扩大卷积神经网络，从而达到更好的准确性和效率?作者通过实证研究表明，平衡网络宽度/深度/分辨率的所有维度是至关重要的，而令人惊讶的是，这种平衡可以通过简单地以恒定的比例缩放每个维度来实现。在此基础上，作者提出了一种简单而有效的复合标度方法。与传统的任意衡量这些因素的做法不同， 作者的方法用一组固定的比例系数来均匀地缩放网络的宽度、深度和分辨率 。这便是nb的    EfficientNet。

相关资料：https://www.lijl888.com/archives/720