1.《Asymmetric Non-local Neural Networks for Semantic Segmentation》
创新点: Non-local 模块因为计算整张图(size=N)的相似度关系然后给出输出结果,导致计算量很大,GPU占用很高。为降低计算量,本篇论文提出非对称的Non-local 模块,即通过下采样得到部分具有代表性的点(size=S),并以此计算相似度关系,进而给出输出结果,大大降低了计算量。 区别如图所示:
这个下采样操作是通过Pyramid Pooling Module实现的。
总结:非对称Non-local的核心思想便是借助Pyramid Pooling 操作完成采样,用采样点作为代表 完成Non-local计算。因为采样点个数S远远小于整幅图个数N,故计算量大大降低。
根据上述思想,设计APNB(Asymmetric Pyramid Non-local Block)和AFNB(Asymmetric Fusion Non-local Block)模块,AFNB融合了Stage4和Stage5两个level信息,可为APNB提供更多long-range dependencies线索,最终的网络模型如下:
2.《Dynamic Multi-scale Filters for Semantic Segmentation》
创新点:以前的工作在训练结束后卷积核参数就固定了,而本文不同尺寸的卷积核都是根据输入特征动态的自适应学习出来的,通过Depth-wise Convolution 作用于feature上给出输出。