论文总结 | GAN

论文总结 | GAN

ICCV2019

Paper

Kernel

SinGAN: Learning a Generative Model from a Single Natural Image [paper] [code] (2019年的bestpaper)

Motivation: 1. Unconditional GANs 针对 class pecific 的数据集（如faces）取得成功，但建模具有多个类别、高度多样化的数据集（如ImageNet）的分布仍然是一项重大挑战。 2. 目前针对single image 的 GAN，大多是基于条件或某些特定任务（如超分辨），而非条件的GAN也只局限在纹理这样简单结构的图像生成任务中。 Contribution: 1. 能用一个简单统一的学习框架解决各种图像处理任务：paint-to-image, editing, harmonization, super-resolution, and animation。 2. 生成高质量结果，保存训练样本内部patch的关系。 3. 使用相同的生成网络即可完成所有任务，无需任何其他信息或超出原始训练样本的进一步训练。 金字塔式的coarse to fine网络 Method:目标是学习到一个非条件生成对抗模型，它能捕获输入的单张训练图像的内部数据关系（internal statistics）。为此提出了层级的patch-GANs模型(Markovian discriminator)，训练由下向上。最底层由噪声$Z_N$ZN​输入到$G_N$GN​的得到$\tilde{x}_N$x~N​，接着利用生成图像的patch $\tilde{x}_N$x~N​和当前层的patch $x_N$xN​（由训练数据下采样得到）放入判别器$D_N$DN​。通过这种一层一层、由下往上的训练过程，每一层由下一层的生成结果$\tilde{x}_{n+1}$x~n+1​上采样，与$z_n$zn​cat一起送入$G_{n}$Gn​，得到$\tilde{x}_{n}$x~n​，经过$D$D，得到最终的结果。$G$G和$D$D结构相同。SinGAN在其他图像生成任务中的应用，可以看下论文实验部分。

参考博客：
https://blog.csdn.net/dqcfkyqdxym3f8rb0/article/details/102927036