Chen, Ying Cong, X. Shen, and J. Jia. "Makeup-Go: Blind Reversion of Portrait Edit." IEEE International Conference on Computer Vision IEEE Computer Society, 2017:4511-4519.
该论文为2017年ICCV论文,下面为作者自己分享的论文ppt
论文原文地址:http://open.youtu.qq.com/research/publications

*******************************************************************************************************

Makeup-Go: Blind Reversion of Portrait Edit,即一键卸妆,给你一张处理过的图片(比如经过美图秀秀把人变白、变美之后的图片),把软件处理之前的样子恢复出来。一般情况下,现在有很多图片处理 APP,我们想知道在美颜处理之前是照片是什么样。

makeupgo:一键卸妆算法
下面是未经过美化的图片。

makeupgo:一键卸妆算法

美化之后脸上的痘痘消失了,皮肤变得非常光滑。

makeupgo:一键卸妆算法

想要把图片恢复成处理之前的状态,难点在哪里?

简单暴力的方法是既然有输入图片和输出图片,能不能训练出一个神经网络自动学会处理图片。在这里我们做了一个简单实验,是2016年 CVPR 的一篇文章,一个非常深的网络。

makeupgo:一键卸妆算法

下面是输入和输出。从这里可以发现,即使用了一个那么深、学习能力那么强的网络,还是和最初的图像有很大差别,比如说皱纹和雀斑,都恢复得不是那么完美。

makeupgo:一键卸妆算法

makeupgo:一键卸妆算法

为什么现在的 CNN 网络不能恢复原来的图片?图像里包含很多东西,如果只是简单用 CNN 去回归,只能回归出非常少的 component,我们在图像恢复时发现了一个非常重要的信息,叫 component domination effect,这篇文章重点针对 component domination effect 来改变一键卸妆效果。

makeupgo:一键卸妆算法

首先我们对 L2 loss 进行分析,可以对其进行分解,F 是神经网络的输出结果,y 是 ground truth。

makeupgo:一键卸妆算法

我们在这里发现,实际上可以对 L2 loss 进行分解,分解成 PCA 不同 component 的线性组合。

makeupgo:一键卸妆算法

我们在这里发现,实际上可以对 L2 loss 进行分解,分解成 PCA 不同 component 的线性组合。

makeupgo:一键卸妆算法

可以继续对其进行展开。

makeupgo:一键卸妆算法

怎么理解 component,我们从大到小分解出来

makeupgo:一键卸妆算法

这里是我们所做的网络,称为 component regression network。相当于把图经过 PCA 分解为不同的成分,接下来我们希望通过不同的 subnetwork 把每一个 component 都能回归得很好,最后把各个 component 综合在一起,得到最终的结果。

makeupgo:一键卸妆算法

接下来是我们的实验结果,可以证明这个网络对于一键卸妆是非常有效的。绿色线条是我们的结果,在 component 为 40 时就能达到比较好的效果。大家可以看到与 Euclidean loss 和 Perception loss 的比较。

makeupgo:一键卸妆算法

下面的这张图经过美图秀秀处理,把雀斑、皱纹都去除了,可以看到我们复原的结果与 ground truth 修饰的结果的比较。

makeupgo:一键卸妆算法

makeupgo:一键卸妆算法

makeupgo:一键卸妆算法

下面是一张 overly touched 图片,图像过度平滑,颜色都改变了,我们恢复的结果能把丢失的细节很好地复原出来。

makeupgo:一键卸妆算法

makeupgo:一键卸妆算法

下面是更多的结果,我们在网上随便找的照片,可以很好地把图中雀斑和皱纹恢复出来。

这个网络并不对所有案例都有效,下面是对 Trump 的图片的处理,虽然能把图片恢复出来,但和 ground truth 比还是有差别。

makeupgo:一键卸妆算法

makeupgo:一键卸妆算法

这个工作的总结如下:一、我们在做图像修复时发现了非常重要的性质 component domination effect;二,提出 component regression network,在很多领域有非常强的应用。

makeupgo:一键卸妆算法

相关文章:

  • 2021-12-12
  • 2021-07-24
  • 2022-12-23
  • 2022-12-23
  • 2022-01-08
  • 2021-10-12
  • 2021-06-28
  • 2021-05-08
猜你喜欢
  • 2021-06-01
  • 2021-10-26
  • 2021-09-08
  • 2021-04-08
  • 2022-01-08
  • 2021-04-10
  • 2021-10-01
相关资源
相似解决方案