绪
卷积神经网络分为输入层、隐层、输出层；隐层可分为卷积层和池化层。
特点：非全连接，权值共享。降低网络模型的复杂度，减少了权值的数量
1. 卷积层
输入图像大小为 5* 5* 3，假设采用一个 3* 3* 1 的滤波器对其进行卷积，stride=1，根据 ((n+2p-f)/s)+1 的计算公式我们可以知道输出图像的大小为 4* 4* 1，
ResNet网络结构
深度学习常见问题：
- 网络结构越深，常规的网络的堆叠效果不好
- 网络越深，梯度消失现象越明显，训练效果不好
- 但是 浅层的网络无法明显提升网络的识别效果，如下图。
ResNet用神经网络分解来降低拟合函数的复杂度，而损失函数是拟合函数函数，所有等同于降低了损失函数的复杂度。
假设需拟合的复杂函数为H(x)，将H(x)分解为简单的f(x)和g(x)，即H(x)=f(x)+g(x)。对于相同数量的层减少了参数量，因此可以拓展为更深的层。
残差网络结构，相当于在普通网络上插入跳跃结构。当输入输出维度一致时，不需要其他处理；当不一致时，输入要进行变换去匹配输出的维度，两种方式：Zero-padding和1* 1卷积核来增加维度。
为了实际计算的考虑，提出了一种bottleneck的结构块来代替常规的Resedual block，它像Inception网络那样通过使用1x1 conv来巧妙地缩减或扩张feature map维度从而使得我们的3x3 conv的filters数目不受外界即上一层输入的影响，自然它的输出也不会影响到下一层module。不过它纯是为了节省计算时间进而缩小整个模型训练所需的时间而设计的，对最终的模型精度并无影响。