作者: Md Mahfuzur Rahman Siddiquee, asu


虽然作者列表里有Yoshua Bengio大佬,但就顶会文章而言,这篇文章网络创新点很少,基于Stargan的代码改了几行,然后“装饰”成了一个新的网络。但是应用部分利用gan做基于image annotationanomaly detection病灶定位对我的启发还比较多。

Intro

如下图所示,文章认为StarGAN的问题在于没有same domain的translation,所以导致在same domain中会产生一些artifacts。然后作者基于此在stargan中额外引入了same domain的转换损失,提高了same domain 转换的生成质量。
[ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation
我的观点:Stargan中是有考虑same domain的translation的,只不过在每个batch中是随机的。stargan中这一部分的代码如下:label_trg是将label_org随机打乱产生的,所以会有same domain的情况。
[ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation

Method

文章对Stargan的改进如下,即引入了same domain的损失,也就是图中声称的fixed-point translation learning。
[ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation
具体代码上的变化如下:
原版stargan:
只有origin-target-origin
[ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation
文章的改进:
加入了origin-origin-origin
[ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation
我的观点:这里的改进实质等价于让网络在same domain上多训练几轮,因而效果会好。因为原始stargan在每个batch中随机会有same domain的情况,而改进后只不过显式地让网络在每个batch中的每个个例都会计算same domain的情况。所以我会觉得这篇文章创新点很少

Application

想象下,应用于医学影像:origin 是有病灶的,target是无病灶的,利用gan网络,比较输入和输出图像的差异则可以用于定位病灶,并且不需要分割标签。这个思路还是挺好的。不过这里比较差异是直接计算的diff,可能实际中不够鲁棒。个人觉得Detecting the Unexpected via Image Resynthesis中单独设计一个discrepency network的方式更好些,虽然两者应用场景并不同。
[ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation

相关文章:

  • 2021-04-25
  • 2022-12-23
  • 2021-04-27
  • 2021-07-01
  • 2021-06-22
  • 2022-01-21
  • 2021-10-06
  • 2021-11-15
猜你喜欢
  • 2021-04-07
  • 2021-11-15
  • 2021-09-16
  • 2021-09-18
  • 2021-09-25
相关资源
相似解决方案