目前,最常被使用的 AI 换脸算法有三种:DeepFake、FaceSwap 和 Face2Face。其中,DeepFake 基于大家所熟知的 GAN 技术,对于它所生成的脸,人类的识别率大约为 75%。FaceSwap 是一个学习重建脸部特征的深度学习算法,可以对给出的图片进行模型替换,人类对于此类换脸的识别率也是 75%左右。Face2Face 则是用其他真实的人脸去替换原本的人脸,不涉及人脸的生成,对于它制造的脸,人类的识别率只有 41%。作为目前学术界最大的合成视频数据库之一,由慕尼黑技术大学创建的 FaceForensics 数据库涵盖了经过以上三种换脸算法编辑的公开视频,以供学术研究使用。

学习的博文资料

1、DeepFake 入门了解

链接: DeepFake 入门了解.
不自然的眨眼
由于用来训练神经网络的图像数据往往是睁着眼睛的,因此 Deepfake 视频中人物的眨眼或不眨眼的方式通常是不自然的。
去年,奥尔巴尼大学(University of Albany)的研究人员发表了一篇论文,提出了一种可以检测这种不自然眨眼的技术。有趣的是,这项技术使用的也是深度学习,和制作假视频的技术是一样的。研究人员发现,利用眨眼视频训练出的神经网络可以在视频中定位眨眼片段,找出非自然眨眼运动的一系列帧。结果发现,Deepfake 视频中人物的眨眼不符合正常的生理学规律,由此可以识别出哪些是原始视频,哪些是 Deepfakes 视频。
论文地址
追踪头部动作
每个人都有独特的头部运动(如开始陈述事实时点头)和面部表情(如表达观点时得意得笑),但 Deepfakes 中人物的头部动作和面部表情都是原人物而非目标人物的。

基于此,加州大学伯克利分校的研究者提出了一种检测换脸的 AI 算法。其基本原理是:利用一个人的头部动作和面部表情视频训练一个神经网络,然后拿这个神经网络去检测另一个视频中的人物动作和表情是否属于这个人。模型准确率达到 92%。
链接:论文地址

2、深度“打假”:通过眨眼检测“deepfake”视频

文章链接
不要让技术沦为抠图流量明星的新“捷径”。 (这话说的对啊)
在生成逼真的视频前,这个深层神经网络需要大量目标任务图像数据,图像的数量和多元性决定了网络的“学习”效果——数据越多,模拟效果就越逼真。
DeepFake学习记录(持续更新)
上图是对神经网络训练、测试过程的细化图解。看罢视频,也许有人会有疑问:为什么Deepfake生成的假脸会这么自然?这是因为在训练期间(Training Phase),我们会先把目标人物A的脸抠出来,定位好五官位置,训练一个无论如何扭曲A的脸,最后都能生成正常A脸的网络。
一旦上面的网络训练好,我们就可以往其中输入B的脸。这时在神经网络看来,B的脸其实就是经扭曲的A的脸,所以它会直接“纠正”。至于表情和口型等细节,这在训练过程中就已经学会了,数据越多,效果越好,相信这点不难理解、

相关论文资料:
1、换脸【论文译文】Few-Shot换脸:Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
链接: 文章及翻译
2、检测假人脸Towards Open-Set Identity Preserving Face Synthesis论文地址

相关文章: