EGNet:用于显著目标检测的边缘制导网络
#摘要
全卷积神经网络(FCNs)在显著目标检测任务中已显示出其优越性。然而,大多数现有的基于FCNs的方法仍然存在对象边界粗糙的问题。为了解决这一问题,本文将重点放在显著边缘信息和显著目标信息之间的互补性上。因此,我们提出了一个用于显著目标检测的边缘引导网络(EGNet),该网络由三个步骤组成,在一个网络中同时对这两种互补信息进行建模。在第一步中,我们采用渐进融合的方法提取显著的目标特征。第二步,将局部边缘信息和全局位置信息相结合,得到显著的边缘特征。最后,为了充分利用这些互补特征,我们将相同的显著边缘特征与不同分辨率的显著对象特征相结合。利用显著边缘特征中丰富的边缘信息和位置信息,融合后的特征可以更准确地定位显著目标,特别是其边界。实验结果表明,该方法在不需要任何预处理和后处理的情况下,在6个广泛使用的数据集上的性能优于目前最先进的方法。
源代码可从以下网址获得:
1.主要内容概括
本文提出了一种名为EGNet的网络结构来解决静态目标检测问题,它由边缘特征提取部分、显著性目标特征提取部分以及一对一的导向模块三部分构成,利用边缘特征帮助显著性目标特征定位目标,使目标的边界更加准确。在6个不同的数据集中与15种目前最好的方法进行对比,实验结果表明EGNet性能最优。
2. Motivation
目前性能较好的解决目标静态检测问题的网络大多是以FCN(全卷积神经网络)为基础的,但是这些方法目前在显著性目标与其边缘的区分方面仍存在问题。例如有些方法忽略了边缘信息和显著性目标信息的相关性;还有一些方法使用超像素的预处理解决边缘信息问题但是推理速度很慢。
主要贡献
- 提出了EGNet用来突出显著性目标的特征和边缘特征,能够更好地区分边界。
- 该模型通过让这两个互补的任务相互帮助,共同优化这两个任务,让预测结果更加好。
- 将提出的方法在6个不同的数据集上与15个目前最先进的方法作比较,效果最好。
3.EGNet网络
EGNet网络,该网络由三个部分组成,NLSEM(边缘提取模块)、PSFEM(目标特征提取模块)、O2OGM(一对一指导模块),原始图片通过两次卷积输出图片边缘信息,与此同时,对原始图像进行更深层次的卷积操作提取salient object,让后将边缘信息与不同深度提取出来的显著目标在一对一指导模块中分别FF(融合),再分别经过卷积操作得到不同程度的显著性图像,最终输出了一张融合后的显著性检测图像。
3.1 PSFEM模块
3.2 NLSEM模块
在网络的Conv2-2阶段,前景的边缘信息更加准确所以作者使用了这一阶段的特征图来做边缘信息的处理。而由于Conv1-2阶段的特征感受野小,故被作者放弃。
作者认为为获取显著性对象的边缘信息如果仅仅依靠低等级特征是不够的,因为信息从高等级特征传到低等级特征的时候会被稀释掉,所以从 阶段引入了高等级特征。同时这样操作的好处也在于高等级特征拥有更大的感受野,能够让位置信息更加的准确。