一、基本信息
| 信息 | 内容 |
|---|---|
| 论文名称 | SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size |
| 论文链接 | https://www.researchgate.net/publication/301878495 |
| 代码链接 | https://github.com/DeepScale/SqueezeNet |
| 阅读时间 | 2020/11/7 |
| 修改时间 | 2020/11/7 |
| 关键词 | 模型压缩 |
二、笔记正文
1. 摘要
最近对深度卷积神经网络的研究主要集中在提高准确性上，对于给定的精度级别，通常可以找到多个达到该精度级别的CNN架构。在精度相当的情况下，较小的CNN架构有很多优点，因此作者提出了一种叫做挤压网的小型CNN架构。SqueezeNet能达到AlexNet级别的精度且参数量只有AlexNet的1/50，此外，借助模型压缩技术，将SqueezeNet压缩到小于0.5MB
关键词：模型压缩、小型卷积网络架构
2.研究背景及目的
深度神经网络的轻量化，使深度神经网络能在移动端部署
SqueezeNet是作者在广泛探索CNN架构设计空间的同时发现的几种新的CNN网络之一。
其希望SqueezeNet能够启发读者思考和探索CNN架构设计空间中广泛的可能性，并以更系统的方式进行探索。
3.网络架构
作者提出了一种名叫 Fire module的新结构。在设计过程中作者采取了以下策略：
（1）将3x3过滤器替换为1x1过滤器。 给定一定数量的卷积滤波器的预算，我们会选择将这些滤波器中的大部分设置为1x1，因为1x1滤波器比3x3滤波器的参数少9倍。
（2）减少输入通道的数量到3x3个过滤器。 考虑一个完全由3x3个滤波器组成的卷积层。这一层的参数总数=(输入通道数) * (滤波器数) * (3*3)。因此，为了在一个CNN中保持较小的参数总数，不仅要减少3x3滤波器的数量，而且要减少3x3滤波器的输入通道的数量。作者使用挤压层将输入通道的数量减少到3x3个过滤器。
（3）在网络中延迟采样，使卷积层具有较大的**映射。 在卷积网络中，每个卷积层都会产生一个空间分辨率至少为1x1且通常要比1x1大得多的输出**映射。
4.贡献点
- 在这篇文章中，作者提出了一些步骤，以使卷积神经网络的设计空间探索更有章法。为了达到这个目标，提出了SqueezeNet，一种与AlexNet同精度、参数量只有AlexNet的1/50且模型小于0.5MB的CNN网络，在作者前期研究基础上，宋汉等人对SqueezeNet和model compression进行了进一步的研究，提出了一种新的方法称为稠密-稀疏- 稠密 【Dense-Sparse-Dense(DSD)】
- 有利于小型网络模型在FPGA上的部署实现。 在SqueezeNet的基础上Gschwend提出了一种SqueezeNet的变体，并在FPGA上实现了它。其能够将挤压式模型的参数完全存储在FPGA并消除FPGA对芯片外存储器访问加载模型参数的需求。