Alexnet-论文解读

摘要

1. 加快训练

• 不饱和神经元 ReLU

• GPU

2. 减少过拟合

• dropout

一、 引言

二、 数据集预处理

1. Top5 错误率：

正确结果不在预测的前5个标签的百分比

2. 图片大小不一致 ：

最短的边缩放为255，然后剪裁成255*255大小

三、 网络结构

1. ReLU

• 非饱和比饱和的快

2. 多GPU

3. LRN：局部响应归一化

4. overlapping pooling：重叠池化

S：stride，卷积核移动的步数
Z：size，卷积核的大小
S < z时：移动时有重合

5. 整体结构

链接: url.cn/58dvjBV

四、 减少过拟合方法

1. 数据增强

在CPU中完成

• 随机剪裁224*244 的图片
• 水平翻转图像
• 更改RGB

2. dropout

五、学习细节

1. 权重更新公式

2. 初始化超参

• 1. 每一层使用均值为0、标准差为0.01的高斯分布进行初始化weight
• 2. 第二层、第四层、第五层卷积层以及全连接的隐藏层使用常数1初始化bias、其余为0

六、导图版