问题描述：
通俗来说，对于Loss Function的解集，较浅的网络应该是越深的网络的子集合，但实际中却发现网络层数越多反而没有更好的效果，这时就出现了网络退化的问题：
解决问题的思路
从本质上来说，我们在搭建深度网络时并不能很好的确定网络的深度，我们期望在网络会有一个最优层，而在最优层之外则是冗余层，我们期望冗余层能做到输入与输出对应，即恒等映射
解决问题的方法
传统CNN网络与残差网络简化示意图如下，在残差网络中，为了达到恒等映射即网络的输入x和输出f(x)一样的目的，从传统的目标f(x)=x,转换为h(x)=f(x)-x.这样在减去目标一致的主体部分后(类似残差的式子因此得名残差网络)，网络的变化输出目标趋进于零，这样网络更加容易训练，变化更明显, 通俗理解为（信号差分放大器,保底思路).