作者
Jinjin Gu, Yujun Shen, Bolei Zhou
相关链接
- Paper:https://openaccess.thecvf.com/content_CVPR_2020/html/Gu_Image_Processing_Using_Multi-Code_GAN_Prior_CVPR_2020_paper.html
- Code:https://github.com/genforce/mganprior
- Webpage:https://genforce.github.io/mganprior/
前言
论文发表在2020年的CVPR上，作者是香港中文大学周博磊团队的三位成员。该论文做的工作，一句话说来就是：提出了一种mGANprior的方法，这种方法利用预训练的GAN模型通过多潜码(multiple latent codes)的方式来重建真实图像。
介绍
GAN 自从2014年由Goodfellow大神提出以后，已经火到了2020年，在很多领域都取得了成功。但是在真实图像处理这一方面还是存在很多挑战。之前的工作要么是通过反向传播要么是通过训练一个encoder来将图像空间映射(invert)回潜空间。而利用这两种方法重建图像的效果总是差强人意。
由此，文中作者提出一种叫做多码GAN先验(multi-code GAN prior,简称mGANprior)的方法,将已经训练完好的GAN模型作为一种有效先验，用于多种图像处理任务中。具体而言，作者在生成器(generator)的中间层用多种潜码(multiple latent code)来生成多种特征图(feature map)，并通过自适应通道重要性机制(adaptive channel importance)将他们组合起来，重建输入图像。
文中这种将潜空间过度参数化的方法大大地提高了图像重建的质量，性能比现有的很多方法都要好。该方法还可以应用在真实世界的多种任务中，像图像重建，图像上色，图像超分，图像去噪，图像修补，语义操纵等。作者还进一步分析GAN模型中学到的层级表示性质，并尝试弄明白每一层所表示的知识。
上一张效果图：