1. Abstract
从2012年的AlexNet 开始，cnn 发展迅速
从AlexNet 到ResNet 模型层数不断加深。网络层数越深，网络的表达能力就越强。
|
AlexNet |
VGG |
GoogleNet |
ResNet |
|
7 |
16 |
22 |
152 |
在加深模型层数的时候，作者发现存在 退化现象需要解决
退化现象即 ，深层的网络学习的效果反而不如浅层网络的好，见下图。
ResNet 于NN的对比如下
可以看到ResNet 做了一个shortcut
Shortcut 连接的网络层我们称为一个残差块，见figure 2
用数学语言表达如下。其中σ代表非线性函数ReLU
2. Why ResNet work?
2.1 Reason1
这里举了一个例子
假设在第一轮迭代，网络中某个神经元 输入的X 是5，输出是5.1
残差块 和普通神经网络对比如下。
第二论迭代 对于同一个网络层（残差块）依然输入5， 经过上一轮学习W的值may change ,
假设output 改变为5.2
这里能够很明显的看出对比
对于残差块，映射F(x)是从0.1到0.2，增加了100%
对于普通网络，映射F(x) 的输出增加了1/51=2%
这就代表着引入残差后的映射对输出的变化更敏感，残差的思想都是去掉相同的主体部分，从而突出微小的变化
Reason2
残差网络的初始化
对于下图的ResNet
上图的ResNet 他的初始化如下图。
初始的ResNet 可以看作一个多层的恒等映射。
作者在paper 开头提到恒等映射，通过恒等映射可以加深网络层数又不使网络的学习效果更差。ResNet 的初始化 来自恒等映射的思想，学习找到对恒等映射的扰动会比重新学习一个映射函数要容易，这也使得ResNet 相比传统的NN 更容易学习
3. Result
作者用ImageNet2012的分类数据集，有1000个分类，用这个数据集来评估我们的方法。
各模型均用128万张训练图片，用来评估的验证集有5万张交叉验证图片。
首先评测了18/34层的普通网络
可以看到ResNet在深层网络有着更好Performance,
但是在Inception-v4的那片文章中 Inception-v4 有着类似于Inception-ResNet的性能
Inception-v4的作者认为残差网络确实能够让网络学习的更快，但对于退化现象ResNet 并不是唯一的解决办法。Inceotion-v4。这里我觉得通过调节学习率也能够达到让网络更容易学习的效果。
理解不当的地方希望您看到后能够留言指正，我会即使改正。