1. 背景
在语义分割任务中，长距离依赖无法通过简单的卷积操作获得，wang等人在Non-local neural networks中提出的non-local block使得特征图上每个位置的输出都结合了整个图片上所有位置上的特征，使得分割网络的结果得到提升。然而，non-local block的计算量较大，需要较大的显存开销，这阻碍了non-local network在实际应用中的使用。本文提出了APNB来减少non-local block的计算量和显存开销,AFNB通过提升分割性能增强non-local block的学习能力。
2. 方法--Asymmetric Non-local Neural Network
2.1. Revisiting Nonlocal Block
输入，经过3个1*1的卷积Query，Key和Value变换之后，分别得到
，
，
计算复杂度：
2.2. Asymmetric Pyramid Nonlocal Block(APNB)
APNB通过金字塔池化对Key路径和Value路径得到的特征图和
进行下采样，得到
和
.
计算复杂度：
2.3. Asymmetric Fusion Nonlocal Block(AFNB)
为了能够融合来自多个级别的特征，文章提出了AFNB，Query路径的特征图来自high-level层级，Key路径和Value路径的特征图
来自low-level级别。
2.4. Network Architecture
backbone:ResNet-101
使用空洞卷积替换最后两个下采样操作，最后3个stage(stage3，stage4，stage5)的特征图具有相同大小，stage4和stage5的特征图送入AFNB，再经过APNB后，最后经过分类器，得到分割得分图。