一、知识梳理
二、重点讲解
待续
三、作业
1. VGG网络结构
采用更小的卷积核3x3，需要训练的参数减少。如果卷积层C2的卷积核数量是N，上一层C1卷积核数量是M，则用一个5*5 size的卷积核实现该层卷积的参数数量是：5*5*N*M=25N*M；如果用两个3*3 size大小的卷积核代替一个5*5 size大小的卷积核，此时的参数数量是：(3*3*2)*N*M=18N*M。
2. GoogLeNet的inception模块的结构
1）Inception-V1
基本组成结构有四个成分。1*1卷积，3*3卷积，5*5卷积，3*3最大池化。最后对四个成分运算结果进行通道上组合。这就是Inception Module的核心思想。通过多个卷积核提取图像不同尺度的信息，最后进行融合，可以得到图像更好的表征。
2）Inception-V2
用两个3*3卷积代替5*5卷积，可以降低参数量；提出BN算法。BN算法是一个正则化方法，可以提高大网络的收敛速度。简单介绍一下BN算法。就是对输入层信息分布标准化处理，使得规范化为N(0,1)的高斯分布，收敛速度大大提高。
3）Inception-V3
学习Factorization into small convolutions的思想，将一个二维卷积拆分成两个较小卷积，例如将7*7卷积拆成1*7卷积和7*1卷积。这样做的好处是降低参数量。paper中指出，通过这种非对称的卷积拆分，比对称的拆分为几个相同的卷积效果更好，可以处理更多，更丰富的空间特征。
4）Inception-V4
Inception-v4是对原来的版本进行了梳理，因为原始模型是采用分区方式训练，而迁移到TensorFlow框架后可以对Inception模块进行一定的规范和简化。Inception-v4整体结构如图所示，网络的输入是299x299大小。在使用Inception模块之前，有一个stem模块，如右图所示，这个模块在Inception-v3网络也是存在的，它将输出35x35大小的特征图。
5）Inception-ResNet（原有基础上加入残差模块）
3. Resnet构成模块
如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了，如此可以避免过拟合问题。