Inception网络（google公司）——GoogLeNet网络的综述
获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（层核或者神经元数），
但是这里一般设计思路的情况下会出现如下的缺陷：
1.参数太多，若训练数据集有限，容易过拟合；
2.网络越大计算复杂度越大，难以应用；
3.网络越深，梯度越往后穿越容易消失，难以优化模型。
解决上述两个缺点的根本方法是将全连接甚至一般的卷积都转化为稀疏连接。为了打破网络对称性和提高
学习能力，传统的网络都使用了随机稀疏连接。但是，计算机软硬件对非均匀稀疏数据的计算效率很差，
所以在AlexNet中又重新启用了全连接层，目的是为了更好地优化并行运算。现在的问题是有没有一种方法，
既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。
二、 Inception模块介绍
Inception架构的主要思想是找出如何用密集成分来近似最优的局部稀疏结。
（1）.深度，层数更深，文章采用了22层，为了避免上述提到的梯度消失问题，
googlenet巧妙的在不同深度处增加了两个loss来保证梯度回传消失的现象。
（2）.宽度，增加了多种核 1x1，3x3，5x5，还有直接max pooling的，
但是如果简单的将这些应用到feature map上的话，concat起来的feature map厚度将会很大，
所以在googlenet中为了避免这一现象提出的inception具有如下结构，在3x3前，5x5前，
max pooling后分别加上了1x1的卷积核起到了降低feature map厚度的作用。
Inception V2结构
大尺寸的卷积核可以带来更大的感受野，也意味着更多的参数，比如5x5卷积核参数是3x3卷积核的25/9=2.78倍。
为此，作者提出可以用2个连续的3x3卷积层(stride=1)组成的小网络来代替单个的5x5卷积层，这便是Inception V2结构，
保持感受野范围的同时又减少了参数量，
---------------------
作者：loveliuzz
来源：CSDN
原文：https://blog.csdn.net/loveliuzz/article/details/79135583
版权声明：本文为博主原创文章，转载请附上博文链接！