AlexNet、VGGNet学习笔记

• 模型对比

	AlexNet	VGGNet
成就	ILSVRC图像分类2012冠军、Top-5错误率16.42%	ILSVRC图像分类2014亚军、Top-5错误率7.32%
结构	9层：5个卷积层、3个全连接层	16层：13个卷积层、3个全连接层
参数	60.3M	138M
卷积核	卷积核的大小由第一层的11 * 11到5 * 5最后为3 * 3	所有卷积核都为3 * 3
–	–	–

• AlexNet

网络结构

输入数据大小为：227 * 227 * 3

设计亮点

• VGGNet

  网络结构：其中比较常用的为VGG16和VGG19
  
  设计亮点

  • 加深网络的同时减小卷积核的大小
    VGG验证了网络深度对准确率的影响，同时使用3*3的卷积核代替之前网络中使用的大卷积核，这样做的效果为在相同的感受野情况下，网络学习到的特征更为细致，同时减少了参数量。用多个小卷积核代替一个大卷积核过程中，多个卷积层后的**函数使得网络的表征更为复杂。
  • 验证了参数初始化的重要性
    文章使用VGG-11网络来对cifar10进行训练，测试了零初始化以及在imgnet上的预训练后的模型。由实验结果可以看出参数的初始化对模型训练结果有着至关重要的影响，究其背后原因是因为模型存在很多鞍点，训练过程中很容易陷入局部最优点导致不收敛。因此平时训练模型的时候可以比较训练集和验证集的损失来观测最终模型是否达到收敛。