Unsupervised Image-to-Image Translation Networks---VAE+GAN+Cycle

总说

这篇论文是基于CoGAN的，下面是总体结构图：

文章假设来自两个不同domain的同种语义的图片具有相同的latent vector。比如白天的上海滩与黑夜的上海滩，都是上海滩（高层语义一致，即latent vector一致），而这种语义特征再经过解码成具体的表现形式（底层网络用于语义的具体表现形式）。
因此网络设计如下：
E1和E2的高层网络进行共享（具有相同的语义），得到相同的语义表达z之后，再进行解码。解码也最开始也要进行共享，一论文中的一个例子是，如果z表示一种场景，比如前方车后方树。这种场景在不同的domain中呈现不同的表达效果。G1和G2最开始几层权值共享，表示z被赋予更多的信息：可能树和车的具体内容。但是对于不同domain，比如rainy或是sunny的情况下，树的颜色会不同，车的颜色以及一些具体的细节也会不同。

框架

总的loss：VAE+GAN+Cycle

VAE loss

后面的一项是NNL loss，这里用高斯分布来建模pG1和pG2，只有这种情况下，NNL loss才是等价与图像与重建图像的绝对距离。
z1的采样z1∼q1(z1|x1)是通过z1=Eμ,1(x1)+η, 其中η∼N(η|0,I).

GAN loss

Cycle loss

效果

感兴趣自己看论文吧：Unsupervised Image-to-Image Translation Networks