传统的基于卷积的生成对抗网络通过层次性的局部操作来合成图像,即其中的长程依赖关系是用马尔可夫链建模的。这种建模方式不足以用于生成具有复杂结构的图像类别。
本期直播分享,PaperWeekly邀请到旷视研究院基础模型组实习生王毅,为大家带来「用于条件图像生成的注意力归一化」的主题分享。
直播时间 & 地址
直播时间:5 月 19 日(周二)晚 7 点
直播地点:https://live.bilibili.com/14884511
分享提纲
旷视研究院基于实例归一化的进行扩展,用注意力归一化(attentive normalization)来描述长程依赖。具体而言,根据输入特征图的内部语义相似度将其软划分为几个区域,并分别对不同区域进行归一化。该操作增强了具有语义对应关系的遥远区域之间的一致性。
与自注意力对抗生成网络(self-attention GAN)相比,注意力归一化不需要测量所有位置的相关性,因此可以直接应用于大尺度特征图而无需太多计算负担。在根据语义标签的条件图像生成(class-conditional image generation)和语义修复(semantic inpainting)的实验证明了提出的模块在客观和视觉评估方面的有效性。
本次分享的具体内容有:
基于对抗网络的条件图像生成简介和自注意力方法
注意力归一化方法介绍
该方法的实验结果
嘉宾介绍
王毅 / 旷视研究院基础模型组实习生
王毅,旷视研究院基础模型组实习生,香港中文大学计算机科学与工程系博士在读。研究方向为计算机视觉和机器学习,主要包括图像生成,计算摄影学,在 CVPR,NIPS 等会议发表多篇论文。
传送门
欢迎大家关注如下 旷视研究院 官方微信号????