Coursera Deeplearning.ai「深度学习」课程笔记L4.W2深度卷积神经网络：实力探究

深度神经网络

• 1 - 残差网络(Residual Networks (ResNets))

1 - 残差网络(Residual Networks (ResNets))

如上图所示，$x$x表示输入，$F(x)$F(x) 表示残差块在第二层**函数之前的输出，即 $F(x)=W_2\sigma(W_1x)$F(x)=W2​σ(W1​x)，其中 $W_1$W1​ 和 $W_2$W2​ 表示第一层和第二层的权重，$\sigma$σ 表示 ReLU **函数（这里省略了 bias）。最后残差块的输出是 $\sigma(F(x)+x)$σ(F(x)+x)。