作者:Patrick Esser,Heidelberg University, Germany


Distanglement

何谓解耦。举例说明下:一张人像图,普通编码器会将这幅图的所有信息进行编码,包括人的外观,姿势,背景等,但这些特征是耦合的,即在改变编码向量时,你无法单独改变某一特征,而不影响其他特征;而distangle意味着图像中这些不同的特征在编码后,可以单独改变而不相互影响。

本文中把图像分为两个独立特征, pose π 和 appearance α.
[ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis

distanglement有两类主要方法,一是变分法,二是对抗法。

对抗法的缺点在于,encoder能通过鉴别器的梯度,产生entangled的表征以欺骗分类器认为是disentangled。本文的贡献即在于,额外使用了一个分类器来检测这种情况,当检测到该欺骗情况时,加大KL正则项;反之减小。

Method

[ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis

Results

[ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
[ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis

我的笔记

粗略阅读,有大量公式及细节部分有待了解

相关文章: