Gan综述RoadMap和应用：创造性工作的领域

文章目录

• Gan Road
• Key、算法应用技巧
• 先找（重在积累和论文阅读）现有模型（传统/深度）建立一个基础结果benchmark，然后基于此改进（效率和用户的体验性）
• 对于数据来讲：是什么？有什么？缺什么？#
• 对于应用：解决问题（常见模型、常见loss，常见训练trick）
• 一、应用
• 1 生成图像场景；艺术创作、换衣服
• 2 上色（从分割图像到生成图像)
• 3 从低分辨率图像生成高分辨率图像等[4].
• 二 动漫领域的应用
• Gan发展的两头loss和网络模型：图上，图下
• loss量化likelihood: KL Divergence--> JL Divergence--> Wasserstein Distence
• DCGan
• PG Gan
• style Gan: laten z 可以控制粗、中、细三种特征 （4*4 16*16 256*256）
• 找到了图像到编码z的编码: 对应特征空间的latent编码
• 三 更多应用：图像图像翻译(pix2pixGan、cycle Gan)、超分辨率、修复、交互
• 图像翻译：图像上色、分割2real、白天黑夜场景转换
• cycle Gan
• Funit Nvidia
• Partial Conv Nvidia
• 四、漫画中Gan的应用 DCgan生成人脸（训练数据集的清洗）
• 剧本-->动漫形象设计-->分镜草稿-->完成线稿--> 线稿上色-->添加背景
• 换衣服
• 线稿上色
• 图像补全

Gan Road

Key、算法应用技巧

先找（重在积累和论文阅读）现有模型（传统/深度）建立一个基础结果benchmark，然后基于此改进（效率和用户的体验性）

对于数据来讲：是什么？有什么？缺什么？#

对于应用：解决问题（常见模型、常见loss，常见训练trick）

一、应用

1 生成图像场景；艺术创作、换衣服

2 上色（从分割图像到生成图像)

3 从低分辨率图像生成高分辨率图像等[4].

二 动漫领域的应用

卢薇薇讲座应用
将G的分布逼近真实样本的分布

Gan发展的两头loss和网络模型：图上，图下

loss量化likelihood: KL Divergence–> JL Divergence–> Wasserstein Distence

DCGan

PG Gan

style Gan: laten z 可以控制粗、中、细三种特征 （44 1616 256*256）

找到了图像到编码z的编码: 对应特征空间的latent编码

三 更多应用：图像图像翻译(pix2pixGan、cycle Gan)、超分辨率、修复、交互

图像翻译：图像上色、分割2real、白天黑夜场景转换

cycle Gan

Funit Nvidia

Partial Conv Nvidia

四、漫画中Gan的应用 DCgan生成人脸（训练数据集的清洗）

剧本–>动漫形象设计–>分镜草稿–>完成线稿–> 线稿上色–>添加背景

换衣服

线稿上色

图像补全