Visual saliency detection based on multiscale deep cnn features

Task

  • 视觉显著性 Visual Saliency(这篇文章2017年左右,很早了)
  • 显著性由视觉对比产生,直观的表征了图像的某些部分与相邻区域比较更突出。
  • 本文发现,利用CNN提取的多尺度特征具有较高视觉显著性,在视觉识别方面取得了巨大成功。因此,本文引入了一种神经网络结构,在CNN后跟着FC层,提取三种不同尺度(相互嵌套)的特征(分别是考虑区域、相邻区域和整个区域)。
  • 另外,本文还构建了一个新的大型数据库,包括4447幅图像,且具有像素级显著性标注。

Attributions

  • 提出了新的视觉显著性模型
  • 将CNN显著性模型与空间一致性模型、图像分割结合为一个完整框架
  • 创建新的有挑战性的数据集HKU-IS

Pipeline

  • 首先,使用三个尺度不同的CNN对特征进行提取,然后送入两个全连接层,每层300个神经元。
  • 第二个全连接层的输出被传送到输出层,输出层执行双向softmax,在二进制显著性标签上产生分布。
  • 多次训练,为该区域产生一个显著性评分,进一步转移到区域内所有像素。

相关文章: