细节还原视频超分辨

Detail Revealing Video SR （SPMC）

---

SPMC - Sub-pixel Motion Compensation

1. 运动补偿的作用

• 大的运动有助于定位
• 小的运动有助于恢复细节
• 增进运动补偿可以有效提高SR的效果

---

SPMC的玩法

• 可见，SPMC层不存在可训练参数
• 图像的前向warp 和 后向warp
• Subpixel的玩法和ESPCN是一致的 根据光流F的指示向输出图像进行插值
• 主要包含：

  1. Sampling grid generator
     

     对应了figure3里面的操作，即按照光流的映射（u,v） 将Ii映射到Y0中，α是上采样倍数。

  2. 可微的图像采样器

     没具体看懂，作用是让训练更容易，参数传递更流畅平滑。

  3. 生成了一张空洞的HRimage

     作者提到，对于4倍上采样，其中15/16都是zeros。

---

细节融合层

• SPMC已经输出了高分辨的空洞图像，因此需要一个感受野足够强且计算成本低的网络去进行插值
• 有问题在于，对参考帧（当前时刻帧）的使用要适当。不要过度强调改帧，否则就变成了SISR
  因此，作者将网络设计为encoder - decoder style + 跳连接 （什么是encoder - decoder？）

• 其中，先对得到的空洞图像进行下采样，得到一张1/4的图，然后再逐渐上采样。这样做的好处是：
  1. 降低计算成本
  2. 特征图不那么的稀疏，因此不需要极深网络去提高感受野，有利于信息的聚合
  3. 利用跳连接有效地加速训练
  4. ConvLSTM模块被用来对输入序列进行比较自然的选择？
• 公式表达如下
  
  1. si为LSTM的第i step 的 隐藏状态。
  2. sEi 是NetE的中间状态，是用跳连接输入到NetD的 IL0???? 是指IL0双三次上采样。

主要创新点

1. 提出SPMC网络，用以对运动进行估计和补偿，并输出一张 稀疏的HR运动特征图
2. encoder - decoder + ConvLSTM模型 对图像时间序列进行充分利用