《Rethinking the Inception Architecture for Computer Vision》的笔记,粗略的记下了比较重要的几点.
论文还有未看完的,这些之后再补充.
设计网络原则
1.避免表征瓶颈。大部分时候，特征大小应当缓慢变小，在变小的同时增加维度。（下采样是减小信息，而升维是增加信息）[以免降维时丢失信息过多]
2.高维特征更容易局部处理，收敛更快。（高维易分）[这里不太明白]
3.空间聚合能通过低维嵌入达到无损。（concat前可以降维，性能损失接近无）
4.平衡宽度和深度。（宽度和深度的比例要合适）
分解卷积
小卷积堆叠
2个3* 3代替1个5*5 减少28%的计算量
有一个问题:
第一个3*3后接线性**会不会比ReLU更好？
实验结果证明relu更优.(作者猜测是因为网络能够学习这种空间变化的增强,实验证明这是数据增强)
非对称分解
3* 3卷积分解2个2* 2节省11%计算量，而分解成1* 3和3*1节省33%
理论上，任何卷积都能分解成不对称卷积，但实验发现，在低层次效果不好，在12到20层加较好
辅助分类器
inceptionV1提出分支的辅助分类器,认为其可以克服梯度消失问题,有用的梯度浅层可以立刻使用.
但是这里说不能改进收敛,只是相当于正则化作用
有效网格尺寸减少
pooling层用于减小feature map大小,但是为了避免representional bottleneck,也就是准则1,使用pooling前常增加feature map个数.
上图左边违反了准则1,右边会增加计算量.
所以我们可以使用两个平行步长为2的块,P和C.如下图
Inception-V2
通过标签平滑进行模型正则化
通过估计训练期间标签丢弃的边缘化效应来对分类器层进行正则化的机制。
[这里看的不是很明白]
低分辩率输入上的性能
分类任务上,对象比较小,分辨率低的话,如何正确处理?
Review
待更新
参考笔记
https://www.jianshu.com/p/fccf6b799b42
https://www.cnblogs.com/xiaoboge/p/10457307.html
论文及翻译
https://www.jianshu.com/p/3ea7766890c4
https://blog.csdn.net/Quincuntial/article/details/78564389
https://arxiv.org/abs/1512.00567