0、背景知识
在数据分析任务中，人做特征工程，人做分类；机器学习中，人做特征工程，SVM等做分类；深度学习中，CNN做特征工程，Softmax或SVM做分类。
ImageNet数据集中的图片主要是人文类。
Benchmark：具有商业价值的模型。
1、数据
输入图像尺寸：256*256
图片处理方式：对于给定的图像首先缩放的最短边长度为256，然后从中心裁剪出256*256的图像。对图像的每个像素做了减去均值的操作。
2、网络结构
总体包括8个可学习的层：5个卷积层、3个全连接层。提出了一些新的技巧或方法。
- LRP层：conv1和conv2之后
- Max-pooling层：conv1、conv2、conv5
- Relu应用在所有的卷积层和全连接层的输出
- Dropout应用在前两个全连接层（Dropout仅能应用于FC，通过以一定的概率将神经元的输出设置为0来实现，这样的话这个神经元不会参与前向传播和反向传播的过程。测试时使用全部神经元，输出乘以dropout的概率来补偿这一过程）
Feature map尺寸计算：
- 卷积方式为valid(滑动窗口时超出feature map则这部分全部舍弃)：[(输入尺寸-卷积核尺寸)/卷积滑动步长]+1
- 卷积方式为same（超出时超出部分pad 0并正常卷积）：[(输入尺寸 - 卷积核尺寸+（卷积核尺寸-步长）)/卷积滑动步长]+1
- 池化操作：[(输入尺寸-池化尺寸)/滑动步长]+1
- 该网络中卷积操作无说明步长时默认为1
2.1、Relu**函数
之前的**方式比如sigmoid或者tanh具有饱满的非线性，训练起来比非饱满的非线性慢。
2.2局部响应归一化LRN
3、训练细节
batch-size=128，momentum=0.9，weight decay = 0.05
权重初始化：
- 均值为0，标准差0.01的高斯分布初始化每一层的w
- conv2，conv4，conv5以及全连接的隐藏层bias初始化为1，其他初始化为0.（提供relu正的输入加速了早期的学习）
- 初始学习率0.01，验证错误率不动时学习率除以10
实验结果