【问题标题】:How does upsampling in Fully Connected Convolutional network work?全连接卷积网络中的上采样如何工作?
【发布时间】:2019-01-07 08:32:18
【问题描述】:

看了几篇帖子/文章,对CNN下采样后的上采样机制有些疑惑。

我从这个问题中得到了第一个答案: https://www.quora.com/How-do-fully-convolutional-networks-upsample-their-coarse-output

我了解到,类似于正常的卷积操作,“上采样”也使用需要训练的内核。

问题1:如果“空间信息”在CNN的第一阶段就已经丢失了,怎么能重新构建呢?

问题2:为什么>“从网络深处的小(粗)特征图上采样具有良好的语义信息但分辨率较差。从更靠近输入的较大特征图上采样会产生更好的细节但更差的语义信息”?

【问题讨论】:

    标签: neural-network deep-learning conv-neural-network


    【解决方案1】:

    问题 #1

    上采样不会(也不能)重建任何丢失的信息。它的作用是将分辨率恢复到上一层的分辨率。

    理论上,我们可以完全消除下/上采样层。然而,为了减少计算次数,我们可以在层之前对输入进行下采样,然后对其输出进行上采样。

    因此,下/上采样层的唯一目的是减少每一层的计算量,同时保持输入/输出的维度不变。

    您可能会争辩说下采样可能会导致信息丢失。这始终是一种可能性,但请记住 CNN 的作用本质上是从输入中提取“有用”信息并将其缩减为更小的维度。

    问题 #2

    随着我们从 CNN 的输入层到输出层,数据的维度通常会减少,而语义和提取的信息有望增加。

    假设我们有一个用于图像分类的 CNN。在这样的 CNN 中,早期的层通常会提取图像中的基本形状和边缘。下一层检测更复杂的概念,如角、圆。您可以想象最后一层可能具有检测非常复杂特征的节点(例如图像中是否有人)。

    因此,从靠近输入的大型特征图进行上采样会产生更好的细节,但与最后一层相比,语义信息更少。回想起来,最后一层通常具有较低的维度,因此它们的分辨率与早期层相比更差。

    【讨论】:

    • 谢谢艾萨克。对于 #1 问题,我在互联网上的某个地方读到,虽然在卷积过程中提取了更复杂的特征(随着维度减小和特征向量增加),但某些特征的“空间信息”丢失了,因此 CNN 产生的结果是对变形或重新定位不敏感。如果是这样,如何训练“上采样”过程以在 PIXEL 级别对特征进行分类?
    • @captainst:没错。在计算机视觉中,CNN 通常不受对象的位置、方向和比例的影响。但请注意,这是因为我们训练它们保持不变。例如我们将所有带有汽车的图像标记为car,无论汽车在图像中的哪个位置。如果我们有基于空间信息的类,例如car on the leftcar on the right 类,CNN 学习保存水平空间信息作为汽车的特征,以便能够将其分类为这两个类别之一。我没有得到你问题的最后一部分。你介意详细说明一下吗?
    • 下采样部分尝试提取高级特征,同时“忽略”空间信息。下采样层的作用仅仅是减少特征维度以减少计算量。它是一个 dumb 层。虽然看起来它减少了早期层中的空间信息,但它实际上是根据某些标准丢弃从前一层输出的特征,以使下一层的工作更简单。如果我们有无限的资源来训练 CNN,我们可以完全摆脱向下/向上采样层。
    • 需要上采样层来恢复数据的维度。否则,经过几个下采样层后,数据的维度就会崩溃。 模型通过适当调整权重故意忽略空间信息:完全正确。 CNN 忽略空间信息因为我们在训练数据集中忽略了它。想象一下训练一个 CNN 来检测图像中的人。可以训练它检测任何人为person。其他人可能会训练更细粒度的 CNN(例如sitting personbending personbald personcrying person 等)...
    • ...CNN 的神奇之处在于它学习它应该考虑并从图像中提取哪些特征,以便能够区分这些类别。如果位置/方向有助于分类,则保留它。如果没有,它就被淘汰了。其他特征(旋转、颜色、大小、平滑度等)也是如此。有数以百万计的特征我们甚至无法命名,但如果它们有助于分类,CNN 可以尝试学习和利用它们。我强烈推荐Stanford cs231n 这个主题的课程。如果您有兴趣,请观看他们的视频。
    猜你喜欢
    • 2017-07-30
    • 2016-11-01
    • 2019-05-06
    • 1970-01-01
    • 2016-11-13
    • 2021-07-14
    • 2019-02-11
    • 1970-01-01
    • 2019-01-13
    相关资源
    最近更新 更多