二.Deeply-Recursive Convolutional Network for Image Super-Resolution(DRCN),CVPR2016

0.亮点:使用递归网络,不增加参数的情况下增加感受野。SRCNN感受野13*13,DRCN感受野为41*41.

1.预处理:首先用插值方法将低分辨率图像扩展到期望的高分辨率图大小.(其实我没从论文中看出来,倒是在别人的总结里看到的)

2.模型组成

1)基础模型

深度学习用于图像超分辨率重建的经典paper汇总(2)

(1)Embedding network.相当于对输入做特征提取,共两层,如上图.

深度学习用于图像超分辨率重建的经典paper汇总(2)


(2)Inference net.得到重建后的feature maps,共16层(同一层用迭代实现16次)。

像ImageNet那种网络是往往需要比较大的receptive fields去提取特征,常规方法主要是增加卷积层(卷积核需大于1x1的)和增加pool层。 但增加卷积层会导致参数量的显著增加;增加pool层,则会较多地丢弃像素信息。因此本文此处采用了递归卷积层,每次递归都采用与上次一样的卷积核,因此,在增大感受野的同时,并没有引入额外的参数。

下图中右边为左边的展开示意。实验中用了16层迭代。

深度学习用于图像超分辨率重建的经典paper汇总(2)

深度学习用于图像超分辨率重建的经典paper汇总(2)


(3)Reconstruction net.生成输出图像,共两层。

深度学习用于图像超分辨率重建的经典paper汇总(2)


2)改进的模型

使用迭代卷积层会引入两个麻烦的问题;如何去选取最优的Recursive次数以及如何解决梯度爆炸、梯度弥散。
(1)关于第一个问题,作者并没有给出明确的解决方法,可能就是试出来的。最后用的16.

(2)关于第二个问题,作者给出了两种改进

~1~监督递归,每次Recursive后的feature map都会连接到输出。

~2~skip-connection,超分辨率重建中图像输入和图像输出在一定程度上是高度相关的,所以直接将输入的低分辨图像直接连接到最终的输出上也会有优化的效果。

深度学习用于图像超分辨率重建的经典paper汇总(2)

3.代价函数

深度学习用于图像超分辨率重建的经典paper汇总(2)

4.评价指标:PSNR,SSIM

5.数据集:训练集Timofte(包含91幅图像),测试集Set5,Set14。同SRCNN中的数据集。

6.论文链接:http://cv.snu.ac.kr/research/DRCN/DRCN_CVPR2016.pdf

相关文章: