使用 TensorFlow 对象检测用角度表示边界框

Question

当前版本的Tensorflow对象检测API支持无角度边界框的表示——用xmin、ymin、xmax、ymax表示。

我正在寻找用角度/方向表示（和预测）边界框的想法。

像这样：

Answer 1

使用反向传播来识别对激活贡献最强的像素，并设置一个合理的阈值来识别哪些像素属于对象。

默认算法执行此操作，然后计算所选像素的轴对齐边界框（因为它非常简单）。您需要运行另一个允许任意方向的边界框算法。维基百科有一些想法 (link)。

关于如何获取有趣的像素，您可以查看 tensorflow 代码中的内容。

Answer 2

定向边界框是一个非常有趣的话题，它被基于深度学习的对象检测方法所忽略，并且很难找到数据集。

我发现非常有趣的一篇最近的论文/数据集/挑战（特别是因为他们关注定向框）可以在这里找到：

http://captain.whu.edu.cn/DOTAweb/index.html

他们没有分享修改 Fater-RCNN 以使用定向边界框的代码（也没有在论文中提供太多细节），但数据集本身和表示讨论非常有用。