实现残差块

Question

在传统的残差块中，第 N 层对第 N+2 层（非线性之前）输出的“加法”是逐元素加法还是串联？

文献表明是这样的：

X1 = X
X2 = relu(conv(X1))
X3 = conv(X2)
X4 = relu(conv(X3 + X1))

Answer 1

它必须是元素方面的，通过连接你不会得到残差函数。还必须注意使用正确的填充模式，以便卷积产生与块输入具有相同空间维度的输出。