【发布时间】：2018-08-09 07:03:27
【问题描述】：
在 ResNet 架构中，为什么 ReLU 激活是在残差块中的残差元素相加之后应用，而不是在它之前？
【问题讨论】：
标签： computer-vision deep-learning resnet
【发布时间】：2018-08-09 07:03:27
【问题描述】：
因为它是这样提出的。在以下工作中对剩余连接进行了调查：https://arxiv.org/pdf/1603.05027.pdf，他们发现，Skip -> BN -> RELU -> Conv -> BN -> RELU -> Conv -> Add 效果最好。
但是，性能差异可以忽略不计，因此最初的 ResNet 公式占了上风。不过，如果您想知道什么有效，什么无效，您可以阅读这篇论文。
【讨论】：
-
谢谢。那么它只是一个椭圆的结果吗？或者在设计选择上有什么理论见解？
-
这只是一个经验结果。我的意思是他们试图用一些挥之不去的东西来证明他们的行为是正当的，但这还不是一个合理的理论。关于跳跃连接的理论工作并不多。