ResNet
残差神经网络，由华人学者何恺明在微软亚洲研究院时提出
在2014年的时候，深度网络的层数已经达到了22层，当时的一些学者就肯定会在想，更深层次的网络结构会带来更好的效果，而当人们去堆叠更深层次的网络结构的时候，发现网络的性能并没有得到提升，反而会有所下降，因为网络层次较深，误差的累计产生了梯度弥散的情况，等反向更新到最开始基层的时候，梯度就趋近于0了。
怎么解决呢
ResNet解决的思路就是，比如我们有一个30层的网络，那么我们的30层的网络最少最少也要比22层不差才行。所以我们就在网络上加一个shortcut短路层，在短路层上梯度的传播没有进行衰减
如果加的8层的train的结果不好，就直接走右边的短路，就不走它了
在具体实施上，不是对后面的所有曾加一个shortcut，是每隔多少层加一个shortcut
每一个加了shortcut的都是一个小单元，网络结构是由多个小单元堆叠形成的
CNN是堆叠“conv-BathNormalize-pooling-ReLu”这样的单元来形成更深层次的网络
相关文章：