作者: Md Mahfuzur Rahman Siddiquee, asu
虽然作者列表里有Yoshua Bengio大佬,但就顶会文章而言,这篇文章网络创新点很少,基于Stargan的代码改了几行,然后“装饰”成了一个新的网络。但是应用部分利用gan做基于image annotation的anomaly detection和病灶定位对我的启发还比较多。
Intro
如下图所示,文章认为StarGAN的问题在于没有same domain的translation,所以导致在same domain中会产生一些artifacts。然后作者基于此在stargan中额外引入了same domain的转换损失,提高了same domain 转换的生成质量。
我的观点:Stargan中是有考虑same domain的translation的,只不过在每个batch中是随机的。stargan中这一部分的代码如下:label_trg是将label_org随机打乱产生的,所以会有same domain的情况。
Method
文章对Stargan的改进如下,即引入了same domain的损失,也就是图中声称的fixed-point translation learning。
具体代码上的变化如下:
原版stargan:
只有origin-target-origin
文章的改进:
加入了origin-origin-origin
我的观点:这里的改进实质等价于让网络在same domain上多训练几轮,因而效果会好。因为原始stargan在每个batch中随机会有same domain的情况,而改进后只不过显式地让网络在每个batch中的每个个例都会计算same domain的情况。所以我会觉得这篇文章创新点很少
Application
想象下,应用于医学影像:origin 是有病灶的,target是无病灶的,利用gan网络,比较输入和输出图像的差异则可以用于定位病灶,并且不需要分割标签。这个思路还是挺好的。不过这里比较差异是直接计算的diff,可能实际中不够鲁棒。个人觉得Detecting the Unexpected via Image Resynthesis中单独设计一个discrepency network的方式更好些,虽然两者应用场景并不同。