残差神经网络：连接还是元素加法？

【问题标题】：Residual Neural Network: Concatenation or Element Addition?残差神经网络：连接还是元素加法？
【发布时间】：2018-04-04 18:29:36
【问题描述】：

对于残差神经网络中的residual block，block末尾的加法是真元素加法还是concatenation？

例如，addition([1, 2], [3, 4]) 会产生 [1, 2, 3, 4] 或 [4, 6] 吗？

【问题讨论】：

【解决方案1】：

这将导致 [4, 6]，您可以在this paper 中找到更多信息

【讨论】：

【解决方案2】：

操作 F + x 由快捷方式执行连接和逐元素添加

它来自 Microsoft Research 的热门 ResNet 论文。因此它是元素相加，因此 [4, 6]

【讨论】：