对 CNN 中跳过层的实现感到困惑 [关闭]答案

【问题标题】：Confused about implementation of skip layers in CNN [closed]对 CNN 中跳过层的实现感到困惑 [关闭]
【发布时间】：2021-10-23 10:40:04
【问题描述】：

我正在阅读有关 AlphaGo Zero 的网络结构的信息并偶然发现了这个备忘单：

我很难理解跳跃连接是如何在维度上工作的。

具体来说，似乎每个残差层都以它接收到的输入的 2 个堆叠副本结束。这不会导致输入大小随着网络的深度呈指数增长吗？

是否可以通过更改 conv2d 过滤器的输出通道大小来避免这种情况？我看到 in_C 和 out_C 在 pytorch 中不必相同，但我知道的不够多，无法理解这些值不同的含义。

【问题讨论】：

我投票结束这个问题，因为它与 help center 中定义的编程无关，而是关于 ML 理论和/或方法 - 请参阅 machine-learning @ 中的介绍和注意事项987654323@.

【解决方案1】：

使用跳过连接，您确实可以在每个连接中获得两倍的通道数。当您将通道连接在一起时就是这种情况。但是，如果您控制输出通道的数量（您称为out_C），它不一定必须呈指数级增长。

例如，如果您有一个跳过连接，总共提供了 n 个通道，而卷积层将 in_C 个通道作为输入。然后您也可以将out_C 定义为n，这样连接后的通道数等于2*n。最终，您决定每个卷积的输出通道数，这完全取决于网络容量以及它的学习能力。

【讨论】：