基于非同步全循环卷积网络的视频超分辨

Video Super-Resolution Using Non-Simultaneous Fully Recurrent Convolutional Network

2019的VSR方向的许多文章应用了recurrent的思想，可能是最近起源于2017年的frame recurrent (FRVSR) .

• 本文主要的几点:

  • 运动补偿
  • 极深的全循环卷积层
  • 信息融合
  • 残差连接(shortcut?)
  • 模型整合策略——用以处理SISR

• 作者自述本文的主要工作：

  • 第一个极深非同步全循环卷积VSR网络
  1. 能准确配准及超分图像
  2. 有极强的信息表达能力，以及建模空域及时域非线性映射的能力
  3. 适用于SISR MISR 和 VSR

• 作者 argue that：

1. 用多张图片去同时恢复多张图片是不好的，应该用多张图片去恢复一张图片 —— 这不废话吗
2. 光流虽然费时费力，但是其对其效果是很不错的，因此我们应用了光流，并增加了跳连接，使得网络只学习残差。

---

Approach

overview:

1. 双三次插值
2. 求光流(combined local-global with total variational
   (CLG-TV))
3. 用center = reference frame 去对相邻帧进行运动补偿
4. center frame and compensated frames are fed into RRCN for VSR

喜闻乐见的贴图时间：

最简单的一个结构，过去的图像用前馈，未来的图像用回馈。然后结合当前的中心帧，最后以一定的策略相加得到结果。公式为：

i是层的序号，t是输入帧的序号Fif、Fib是前后馈网络的第i个输出。经过一系列冗长的描述和推销，最后的结果就如下图所示

可以看出其中所有图片都参与了前馈和反馈，然后以一定的方式（比例）相加得到最终输出

• 其中输入图片都是经过运动补偿的图像

---

总结

本文延续了“把所有能用的帧用起来”的思路，而且用了两遍（前馈，反馈）。以SR质量为导向。在VID4上收到了不错的效果，并且说明了每个部分的不可或缺性。

总之思路一般，主要是结果好。