关于使用 1*1 卷积的技巧

Question

我曾经看过以下关于使用1*1卷积的说法，它可以帮助连接不同维度的输入和输出：

例如，要将激活维度 (HxW) 减少 2 倍，您可以使用步长为 2 的 1x1 卷积。

如何理解这个例子？

Answer 1

您可以使用 2 的步幅。但是，我不会说这是一个技巧，而不是保留信息的神奇解决方案。您将丢失一半的信息。我也不会将这种方法限定为池化方法。

内核大小为 1 像素高和 1 像素宽，每次移动 (stride) 两个像素。因此，对于一行上的每个像素，内核将每两个像素输出一个值，即输出该行上一半的像素数。等价于高度，内核将完全丢弃一半的行。

---

这是一个大小为 1x1 的 2D 卷积示例，在 6x6 输入上的步幅为 2。在左侧，深黄色的 1x1 块是内核的连续位置。右侧是生成的图像，形状为 3x3。