“ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks”发表于ECCV 2018 workshop,是对“The Super-Resolution Generative Adversarial Network”(SRGAN)的改进工作,在PIRM2018-SR挑战赛上,在region 3区域获得第一名并且获得最好的perceptual index。
论文地址:https://arxiv.org/abs/1809.00219
作者代码地址:https://github.com/xinntao/ESRGAN
PIRM2018-SR挑战赛网站:https://www.pirm2018.org/PIRM-SR.html
简介
SRGAN是single image super-resolution领域里一项有创造力的工作,可生成更加真实的纹理,使得看起来更加真实舒服。但是,使用该方法生成的图片有时在细节处会伴随令人不愉快的伪影。为了改进这部分工作,作者提出从3个方面进行:
- network architecture(网络结构)
- adversarial loss(对抗损失)
- perceptual loss(感知损失)
Network Architecture
网络中使用Residual-in-Residual Dense Block (RDDB)取代Residual Bock,作者认为可以提高能力并容易训练,去除BN层,并使用residual scaling和smaller initialization来训练这一很深的网络
Relativistic Discriminator
使用相对真实的判别器,让判别器学到“一幅图像比另一幅图像更加真实”而不是“一副图像是真实的还是假的”,实验结果表明,使用该方法训练,可以使生成器生成更加真实的纹理细节。
Perceptual Loss
在**层前计算perceptual loss,作者通过实验验证,在**层计算perceptual loss可以保留更多的细节信息。
此外,生成器的损失函数中,还加入了L1范数正则化项
实验结果
总结
提出对SRGAN的改进工作,获得了更好的主观质量效果,赢得了PIRM2018-SR挑战赛。
改进点如下:
1.网络中使用RDDB块取代Residual Bock
2.去掉BN层
3.residual scaling and smaller initialization
4.relativistic GAN
5.在**层前计算perceptual loss