论文名称:Perceptual Losses for Real-Time Style Transfer and Super-Resolution

来源:      CVPR 2017


这是一篇提出一种创新loss处理方式的论文,用来证明结果的实验有2个,分别为图像风格转换和超分辨率,本文中只针对超分辨率进行比较


首先,作者提出,超分辨率、图像风格转换、去噪其实都可以归类为 image transformation任务,然而,目前这类任务的loss都是MSE loss,与之相对的,作者提出了一种新的loss来解决此类问题,即为 perceptual loss


图像感知损失其实并不陌生,GAN就是如此,利用感知loss产生的结果更符合人的审美和感知(但是psnr不高)。

作者的网络结构如下图所示:


论文解读之Perceptual Losses for Real-Time Style Transfer and Super-Resolution

首先,input图像进入 image transform Net,图像转换网络只是一些卷积的堆积,利用的残差学习和跳跃链接,

重点在于之后的perceptual loss, perceptual loss由一个loss network产生(作者采用了VGG16),感知损失的计算是将image transform net的output与input都输入loss network,output和input进过loss network的处理后进行计算,公式如下:


论文解读之Perceptual Losses for Real-Time Style Transfer and Super-Resolution

其中,y'是图像转换网络的输出,y是图像转换网络的输入,将二者输入loss network处理后计算loss

结果如下

论文解读之Perceptual Losses for Real-Time Style Transfer and Super-Resolution

可以看出利用perceptual loss的输出更符合人的感知需求(但是psnr较低)




相关文章: