Residual Dense Network for Image Super-Resolution
Yulun Zhang , Yapeng Tian , Yu Kong , Bineng Zhong , Yun Fu
CVPR2018
摘要
论文认为之前的方法没有取得较好超分辨率结果的原因是因为它们没有利用低分辨率图像的层次信息。而论文提出了残差稀疏块可以解决这个问题。经过残差链接的卷积层可以提取出局部信息。残差层的直接相连会产生连续的内存机制CM。
残差块提取的局部特征还可以来学习相连两个残差稀疏块的特征，在完全获得密集的局部特征之后，我们使用全局特征融合以整体方式联合和自适应地学习全局等级特征
前人方法的问题
- 论文认为随着网络的加深，网络的每一层特征都应该具有不接受域的层次特征，而现有的方法都忽略了这些特征。
- 有人使用了稀疏块来做超分辨率，但是用稀疏块无法训练一个很宽的网络。
针对上述问题，论文提出了残差稀疏块稀疏残差块包括三部分：稀疏连接层，带有局部残差学习的局部特征融合(LEF)。而且RDB中每一个残差稀疏块中的卷积层都可以连接到后面的层，且能将想要保留的信息传递下去。
主要贡献
- 论文提出了一个可以充分利用全部层次信息的残差稀疏网络RDN。
- 论文提出的残差稀疏块RDB不止可以通过连续内存提取前一个RDB的状态，并且充分利用所有层的信息。积累起来的特征可以自适应地通过局部特征融合LEF保存下来。
- 论文提出了全局特种融合将LR空间上的全部层次信息都融合起来，通过这种全局残差学习可以将浅层的特征和深层的特征结合起来，得到全局稀疏特征。
RDN网络
网络结构
网络主要包括四个部分：SFENet浅特征提取网络，RDB残差稀疏块，DEF稀疏特征融合，UPNet上采样网络。
网络结构如上图。
首先是SFENet，这一部分包括两个卷积层
表示卷积操作，得到
,用开做下一次浅特征提取和全局残差学习。接下来
再一次提出浅特征，得到残差稀疏块的输入。
这里假设有D个残差块，第d个RDB的输出记为
其中是一个函数，
是第d个RDB的输出，将其看作为局部特征。接下来就是特征融合：
RDB
RDB的结构如上图，第d个RDB的第c个卷积层的输出可以写成：
其中表示ReLU**函数，
表示第d个RDB的第c个卷积层的参数，而且第d个RDB的输入和输出都包括
个特征图，假设
有G个参数，
表示前d-1个RDB的特征图和第d个RDB的前c-1个卷积层的特征图的融合。一共
个特征图。
局部特征融合
论文引入了一个的卷积层，来控制输出信息，并将这个操作命名为局部特征融合LEF：
表示第d个RDB的卷积操作。
局部残差学习LRL
RDB的输出：，这一部就叫做局部残差学习，这个LRL可以提高网络性能
稀疏特征融合DFF
主要包括两部分，GFF全局特征融合和GRL全局残差学习
全局特征学习：直白地说就是将每一个RDB的输出融合在一个得到一个新的特征，即
包括
和
两个卷积层，
的卷积层用了融合不同等级的特征，
用来得到进入下一阶段全局残差学习的输入。
全局残差学习：
也就是最开始的浅层的特征，
实现细节
除了局部特征融合和全局特种融合的部分，其他卷积层全为，为了保持输入输出大小不变，在周围pad 0。
浅层特征提取层+局部特征融合+全局特征融合=个filters，每个RDB有G个filters，每个卷积层后面都连着ReLU。
论文采用ESPCNN来做上采样网络，最后一个卷积层有3个输出通道，但网络只能处理灰度图像。
patch_size=
数据增强：随机垂直翻转和90度旋转
Adam，lr=，每２00个epoch学习率减半。
实验结果：
- 层次信息：说白了就是充分利用前面每一个层次的信息。