DeepLearning-L4-LeNet5

LeNet5

• 1. 简介
• 2. 网络结构

1. 简介

1998年，Yann LeCun在论文《Gradient-based learning applied to document recognition》提出LeNet-5，它是第一个成功应用于手写数字识别问题的卷积神经网络，在MNIST数据集上可达到99.2%的正确率。

2. 网络结构

Layer 1：卷积层

• 输入：$32 \times 32$32×32（灰度图像$28 \times 28$28×28，周围用两个像素填充）
• 卷积核：$5 \times 5$5×5，深度$6$6，步长$1$1
• 输出：$28 \times 28 \times 6$28×28×6
• 参数个数：$5 \times 5 \times 1 \times 6 + 6 =156$5×5×1×6+6=156，其中加项的$6$6个为偏置项参数
• 连接数：$(5*5+1)\times 6 \times(28*28) =122,304$(5∗5+1)×6×(28∗28)=122,304

Layer 2：池化层

• 输入：$28 \times 28 \times 6$28×28×6
• 池化核：平均池化，每个大小$2 \times 2$2×2，步长$2$2
• 输出：$14 \times 14 \times 6$14×14×6

Layer 3：卷积层

• 输入：$14 \times 14 \times 6$14×14×6
• 卷积核：$5 \times 5$5×5，深度$16$16，步长$1$1
• 输出：$10 \times 10 \times 16$10×10×16
• 参数个数：$5 \times 5 \times 6 \times 16 + 16 = 2416$5×5×6×16+16=2416
• 连接数：$(5*5+1)\times 16 \times(28*28) = 41600$(5∗5+1)×16×(28∗28)=41600

Layer 4：池化层

• 输入：$10 \times 10 \times 16$10×10×16
• 池化核：平均池化，每个大小$2 \times 2$2×2，步长$2$2
• 输出：$5 \times 5 \times 16$5×5×16

Layer 5：全连接层

• 输入：$400$400
• 输出：$120$120
• 参数个数：$400 \times 120 + 120 =48120$400×120+120=48120

Layer 6：全连接层

• 输入：$120$120
• 输出：$84$84
• 参数个数：$120 \times 84 + 84 = 10164$120×84+84=10164

Layer 7：全连接层

• 输入：$84$84
• 输出：$10$10
• 参数个数：$84 \times 10 + 84 = 850$84×10+84=850

网络中的权重个数：

• Conv1：$5 \times 5 \times 1 \times 6 + 6 =156$5×5×1×6+6=156
• Conv2：$5 \times 5 \times 6 \times 16 + 16 = 2416$5×5×6×16+16=2416
• FC1：$400 \times 120 + 120 =48120$400×120+120=48120
• FC2：$120 \times 84 + 84 = 10164$120×84+84=10164
• FC3：$84 \times 10 + 84 = 850$84×10+84=850

总计：$61706$61706