发表在ECCV2018。
介绍：本篇文章是一种reference-based super resolution（RefSR），关键在于将参考HR图像的高频细节迁移到LR图像，由于参考HR图像和LR图像之间视差和分辨率较大的差异（8x），现有的RefSR方法存在块间不匹配，网格效应和优化不高效的问题，本文提出一种端到端的全卷积神经网络，使用了跨尺度扭曲，包含图像编码器，跨尺度扭曲层和融合解码器：编码器主要用于提取参考图片和LR图片的多尺度特征，跨尺度变形层用于将参考的特征图和LR特征图进行空间对齐，解码器将这些特征图进行合并从而生成HR图片。
问题：在原先的工作中，为了使两个输入的图像对应，使用HR参考图像的下采样块的梯度特征用块匹配，并使用滑动平均进行图像生成，这种方法在匹配时没有充分利用高频信息，在生成时也没有利用高分辨率图像先验；滑动平均会模糊生成的图像和造成网格伪影，并且不能处理由于视点改变造成的非刚性图像变形；在低分辨率和高分辨图像上直接进行扭曲会不准确而且低效。
1. 全卷积跨尺度对齐模块
跨尺度扭曲：使用了跨尺度扭曲进行非刚性图像转换，引入了像素的转移向量V，为每一个像素位置都分配一个特定的转移向量.
跨尺度流估计： 使用FlowNetS作为流估计器，为了改进FlowNetS，将其最后的X4双线性上采样层替换为两个X2上采用模型，每个模型包含一个跳接结构和随后的一个反卷积层。多尺度光流场的生成如下：
2.端到端网络结构
如上所示，包含两个编码器和一个解码器，先对LR图像进行单图片的超分得到一张上采样图片，LR编码器在四个尺度上提取参考的特征图，具体是：首先使用64个5X5，步长为1的卷积核提取尺度0的特征图，然后分别使用64个5X5，步长为2的卷积核对特征图进行提取，
参考图片编码器的多尺度特征提取和LR编码器类似，然后使用跨尺度光流对参考图片特征进行反向扭曲操作得到空间对齐特征
：
解码器中先将两个编码器得到的两个特征图和解码器中的特征图进行串联，然后使用64个4X4，步长为2的卷积核进行反卷积，
最后在scale0使用三个额外的卷积层，卷积核大小为5X5，卷积个数分别为64，64和3。
损失函数：