网络设计
网络设计的目的：(1)减少参数量；(2)节省时间；(3)提高精度；
AlexNet
AlexNet是2012年被提出来的（ImagNet），网络有8层。
（1）使用了Relu作为**函数，比sigmoig和tanh使用的**函数收敛更快；
（2）使用了dropout随机删减神经原，防止过拟合。
（3）全部使用最大池化，避免平均池化带来的模糊影响，步长比卷积核小，重叠卷积，提取特征更充分，提取特征能力更强。
（4）引入了LRN(局部响应归一化层)，类似dropout的效果防止网络过拟合。
VGGNet
2014年ImageNet亚军，主要证明了网络层数越深，在一定的范围内网络的效果会得到提高。
（1）去掉了LRN，LRN在深层网络的训练中效果不大；
（2）使用了多个小的卷积核代替大的卷积核，比如使用两个33的卷积核代替一个55的卷积核，参数量更少了。
（3）使用更小的池化核。
缺点：计算量大，耗费太多的计算资源。
GoogleNet
2014年ImageNet的冠军，22层深度，但是大胆创新尝试了增加神经网络的宽度。
网络训练存在的一些问题：
（1）训练参数过多，容易产生过拟合；
（2）计算量大，不利于用于实际应用；
（3）网络层数深，容易产生梯度弥散，模型难以优化。
inception v1的结构：
使用1 * 1，3 * 3，5 * 5，的卷积核去卷得到不同的特征图，然后使用cat将特征图拼接在一起。但是55的卷积核参数仍然过多，就改进了，在55的前面加上1*1降低厚度。