常用的CNN结构
AlexNet
2012，5 + 2层，受算力影响，分布在了两个GPU上
VGG
2014，更深的网络，更小的卷积核
三层3 * 3网络和一层7 * 7网络的effective receptive field相同（由高层到底层3=>5=>7）
googLeNet
- 2014，22层，inception模块，没有全连接，使用了多层的输出做分类（一定程度上解决了梯度消失的问题，且在决策时结合多层）
- inception模块的设计导致了很大的计算量和很深的输出，因此在经过卷积模块前，先使用1 * 1的卷积层降低深度（类似于对前面feature map的不同层做线性组合）
ResNet
- 2015，152层超深（也有34、50、101），没有全连接层
- 思路：理论上深层的网络会比浅层的网络效果更好，但深层的网络更难训练。因此，将浅层的输入连接到最后，相当于使用浅层的网络去拟合残差。更像是在学习如何修正x，而非直接学习如何得到x，一种分解的策略
- 更深的层也用到了bottleneck
发展
Resnet系列
- 梯度消失，类似dropout
其他