GANILLA: Generative Adversarial Networks for Image to Illustration Translation
期刊：Image and Vision Computing（Elsevier，3区）
开源：https://github.com/giddyyupp/ganilla
当前的问题及概述：
1.尽管目前最先进的图像-图像转换模型可以成功地转换风格或内容，但它们不能同时转换两者。本文提出了一个新的生成器网络来解决这个问题，并表明产生的网络在风格和内容之间实现了更好的平衡。
2.目前，image to image transfer的评价标准都是基于对有限的图像进行主观的、定性的视觉比较。为了解决这个问题，我们提出了一个新的框架来定量评估图像到插图的模型，其中内容和风格被考虑到使用单独的分类器。
可以看到，cycleGAN的问题是并没有很好的保存内容信息，DualGAN的问题是无法迁移风格，而本文的GANILLA两者有一个很好的的兼顾。
模型及loss：
Backbone采用Res18，将Res18的4个block的前3个输入与decoder的相应上采样尺寸sum，这种跳连接方式将low-level输入到sum层中，有助于保存content。判别器采用PatchGAN（马尔科夫判别器）：
Loss与cycleGAN等论文基本一致：“Our loss function consists of two Minimax losses for each Generator and Discriminator pair, and one cycle consistency loss .”
实验：
不同网络框架概述比较：
结果比较：
评价标准：作者在网页上设置选项，让评价者选生成图的原图像的风格和内容，输出准确率：
总结：
本文提出了两点，一个是解决了目前unsupervision image-to-image transfer的评价指标问题，以往的任务没有指标的比较，本文通过评价网页让用户判断从而经过大量测试可以有一个较为公正的准确率比较。第二个是改动了G部分，采用Res18的金字塔结构，将encoder的不同阶段的输出sum到decoder部分，使得除了风格迁移之外可以不丢失具体的内容部分，增强了图像的内容信息。
相关文章：