‘
ResNet中用到了参差网络，这个的目的是避免梯度弥散。因为如果没有参差网络得话，那么神经网络可以理解为一个嵌套得函数，G(k(M(N(X))))，在梯度回传得时候，如果有哪个嵌套函数是个猪队友，其为0，那么前面得层根本得不到训练，使得训练深层次的网络成为一个很难实现的问题。如果加入了参差网络，就不至于出现梯度弥散的问题，因为多加了一个x。就变成了G(k(M(N(X)+x)+x)+x)，即使有队友，其梯度也不会为0，还是可以训练的，这样就使得训练深层次的网络成为了可能，The deeper, The better