1*1卷积的作用：（1*1卷积是二维卷积）
1*1卷积就仅仅知识对不同切片的相同位置点进行线性叠加（当然是先乘以这个1*1卷积核系数再叠加）。这样可以进行数据的维度变换，例如原本是3*640*640的输入（3个切片），通过12个1*1卷积核，就变成了了12*640*640的输出。
卷积神经网络的意义：
全连接前馈神经网络处理图像的问题：
1.参数太多。如果输入为100*100*3的图，第一个隐藏层的每个神经元到输入层有100*100*3=30000个相互独立的连接，每个连接都有一个权重参数。
2.局部不变性特征。全连接前馈神经网络难以提取这些局部不变性特征，一般需要数据增强来提高性能。
根据卷积层实现原理即可理解卷积神经网络可以很好地解决上述问题。
残差网络的意义：
三个点：1.深层网络效果不会比浅层网络差。因为深层网络前面完全copy浅层网络，后面接恒等映射即可做到。2.归一化（归一初始化+中间归一化）缓解了梯度消失/梯度爆炸问题，但是随着层数增加依然不能完全解决。3.网络层数较多的时候训练会出现退化，即增加网络层数，准确率达到最高点后迅速下降。
对第三点：随着网络深度的不断增大，所引入的**函数也越来越多，数据被映射到更加离散的空间，此时已经难以让数据回到原点（恒等变换）。或者说，神经网络将这些数据映射回原点所需要的计算量，已经远远超过我们所能承受的[3]。
设计残差单元的初衷[2]：
- 相比于使用几层网络来拟合一个隐藏的非线性映射，让网络来学习它的残差会更容易一些，即训练残差比原始函数更容易。
- 极端情况下，如果恒等映射（identity mapping）更理想，那么将残差网络变为0比堆叠多个非线性层来拟合恒等映射更容易。
参考文献：
[1]《神经网络与深度学习》https://nndl.github.io/
[2] https://blog.csdn.net/hongbin_xu/article/details/82932431
[3] https://zhuanlan.zhihu.com/p/101332297?utm_source=qq