这篇文章是比利时鲁汶大学的一篇文章,它提出了一个新的任务:

输入结构化的文本(主语,关系,宾语),来预测两个物体之间的空间位置关系。

对于spatial template可以划分:

explicit类型:比如on, below等直接的空间关系。

implicit类型:比如(man, pulling, kite) , (man, pulling, luggage)等,本文主要处理的是这种类型。

文章的方法比较直接:两种模型(基于回归和基于像素),深度网络对位置进行约束训练。


论文笔记 Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates (AAAI2018)

评价指标:(1)IOU (2)Regression (3)Above/below classification (4)Pixel (macro) accuracy

数据集:Vgnome筛选合适的样例,最终∼378K instances,2,183 unique implicit Relationships and 5,614 unique objects

(i.e., Subjects and Objects).

数据集样例:


论文笔记 Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates (AAAI2018)

一些可视化的例子:
论文笔记 Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates (AAAI2018)

原文链接:Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates

相关文章:

  • 2021-10-07
  • 2022-12-23
  • 2022-12-23
  • 2021-11-06
  • 2021-11-05
  • 2021-08-11
  • 2021-08-14
猜你喜欢
  • 2021-04-20
  • 2021-09-20
  • 2021-04-14
  • 2021-11-23
  • 2022-12-23
  • 2021-09-07
相关资源
相似解决方案