Abstract

作者提出了一个Attention based Back Projection Network。

Method

Back Projection Blocks for image SR

迭代反投影模块是在DBPN中提出的,在HBPN中得到了修改。如图3所示,反投影的想法是基于这样一个假设,即一个好的SR图像应具有一个与原始LR图像尽可能接近的估计LR图像。
【图像超分辨】ABPN
我们遵循相同的思想来构建名为“增强型下采样反向投影块(EDBP)用于下采样”和“增强型上采样反向投影块(EUBP)用于上采样”的基本模块。如图2所示,我们按上下顺序堆叠多个反投影块,以提取深层特征表示。
【图像超分辨】ABPN
对于最终的重建,将中间特征图连接在一起以学习SR图像。我们还将LR特征图(图2中的黄线)与HR特征图连接在一起,以进行最终重建。请注意,由于LR特征图比HR小α倍(SR倍数),因此我们使用一个反卷积层将其上采样到与HR特征图相同的大小。

Spatial Attention Blocks (SAB)

SAB是本文的主要贡献。这个idea是学习不同层级之间的特征图的相关性。In the proposed ABPN network, we have two types of attention blocks: self-attention blocks and spatial attention blocks.如下图所示。
【图像超分辨】ABPN

Refined Back Projection Block (RBPB)

也设计成了一个迭代反投影单元。

Experiments

Attention Back Projection Block.
【图像超分辨】ABPN
Model-C是用的concatenation block;Model-A是用的attention block。

Refined Back Projection Block.

【图像超分辨】ABPN
【图像超分辨】ABPN
【图像超分辨】ABPN
【图像超分辨】ABPN

Conclusion

总的来说,本文的两个主要贡献:

  1. Spatial Attention Blocks (SAB);
  2. Refined Back Projection Block (RBPB)

相关文章: