2015年的时候笔者开始关注GAN,公众号早期的文章中就有GAN的综述,这些年GAN的相关研究也是持续井喷。这一次咱们学术上的研究撇开不讲,这么多年过去了,GAN有哪些最成功的商业化落地领域?
图像生成与编辑领域
GAN的诞生之初,就是做数据生成,如今在一些领域可以说是非常的成熟了,其中尤其是StyleGAN为代表的高清人脸生成领域。
StyleGAN结合独创的mapping network和在图像风格化领域中通用的AdaIN技术,将人脸特征进行了分层表达,其生成结果已经达到了普通用户难以辨认的水平,如下图展示了一些高清样本(1024×1024分辨率)。
从图像生成到图像编辑其实是很自然的过渡,比如我们可以将StyleGAN应用于人脸表情,年龄等属性编辑,也可以采用其他类似框架,之前介绍过的爆款应用FaceAPP中有非常好的实现。
【AI产品】一键时光穿梭表情互动,这款FaceApp你知否mp.weixin.qq.com
另外在人脸算法领域中,大家最熟悉的莫过于换脸算法Deepfake。
通过公用的编码器和专用的解码器,即实现了人脸身份的编辑,下面的这张朱茵换脸成杨幂的图相信大家都很熟悉了。
后来一度大火的ZAO应用大部分同学也不会忘记,如今在国外依旧有一些换脸APP可以正常使用。
除了人脸,人体的编辑也是当下的热点,从换脸算法到换衣算法,只是一个数据和模型迭代的时间周期问题了。
图像增强领域
由于GAN擅长于建模数据分布,因此在图像增强领域中应用非常广泛,包含图像降噪,超分辨,去模糊,图像修复等。
我们以前给大家介绍过一款图像质量增强APP,名为‘你我当年’,可以非常好地恢复低清图像的分辨率,去除噪声。
【AI产品】你我当年的老照片,如今修复了可还行?mp.weixin.qq.com
下图展示了一些对比图。
背后自然是少不了GAN模型的功劳,其中SRGAN等就是比较典型的代表。另外,在图像的美学增强,图像修复等领域中技术发展也非常迅速,相信不久后就会出现新的爆款应用。
风格化与内容创作领域
风格迁移由于具有非常好的娱乐性,从《A Neural Algorithm of Artistic Style》研究开始,成为了一个很活跃的领域。早期的时候诞生过爆款应用Prisma,后来出现了一系列的图像和视频滤镜。
随着GAN技术的成熟,风格迁移领域发展地更加成熟了,一方面,可以实现更加精细可控的风格控制,比如前段时间抖音的人脸漫画特效。
<br> (二维码自动识别)
另外一方面,不仅仅可以创造油画等风格,其应用还可以拓展到很多内容创作领域,典型的如黑白图上色,线稿上色等。
如何持续学习GAN
作为一项基础技术,GAN的应用当然不止这些,有三AI生态有许多内容可以供大家学习,下面给大家汇总相关资源。
(1) 技术文章。
从理论到实践,我们公众号写过非常多的GAN相关的技术文章,下面是一个汇总,供大家学习。
【百战GAN】GAN也可以拿来做图像分割,看起来效果还不错?
【百战GAN】新手如何开始你的第一个生成对抗网络(GAN)任务
【杂谈】除了生成图像(造假),GAN如何给目标检测,图像分割,图像增强等问题打辅助?