ICCV2017论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”

此文章的提出主要是为了解决一个问题—— image-to-image translation中一对一的训练数据较难获得。一般的训练,生成图像总是要与某个gound truth完全相等(pair),而这种gound truth在某些场合中很难获取(例如风格迁移)。因此,作者希望在不借助paired example情况下,实现图像转换。
 

作者希望能学到一个映射Maping G,将域A中的图片转换到域B中的图片,将域B中的图片转换到域A中的图片,而两个域中的图片并不是成对出现。为使得生成的图片和原来真实的图片无法分辨,因为从A到B的映射出来的图片可能有很多中,为加强转换的约束性,同时为避免GAN中常见的mode collapse问题,将GAN的结构扩展为Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

模型:

模型的Loss函数分为两部分

(1)X->Y的映射:

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

同样的,Y->X也有类似的loss

(2)循环一致性损失

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

因此最终的目标函数:

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks笔记

CycleGAN本质上是两个镜像对称的GAN,构成了一个环形网络。
两个GAN共享两个生成器,并各自带一个判别器,即共有两个判别器和两个生成器。一个单向GAN两个loss,两个即共四个loss。

相关文章:

  • 2021-08-09
  • 2021-06-23
  • 2021-04-03
  • 2021-05-02
  • 2022-12-23
  • 2021-12-29
  • 2021-04-03
  • 2021-04-27
猜你喜欢
  • 2021-10-06
  • 2021-11-17
  • 2021-07-09
  • 2022-12-23
  • 2021-09-13
  • 2021-05-21
相关资源
相似解决方案