COCO 对象检测评估指标 vs Kitti 评估

【问题标题】：COCO object detection evaluation metrics vs Kitti evaluationCOCO 对象检测评估指标 vs Kitti 评估
【发布时间】：2020-04-05 07:27:42
【问题描述】：

对于我的验证数据集（自己的数据），我使用 COCO 和 Kitti 评估指标进行评估。

我预计 COCO AP (0.5) 值和 Kitti 2D AP（iou=0.5）的得分相似。但我不确定它们是否具有可比性，尽管它们背后的逻辑是相同的（检查 2D 前视图 GT 和 DET 框的 iou>0.5 并计算匹配和精度/召回率）。

COCO 对象检测 AP 0.5 = 0.59 Kitti 2D AP，iou 设置为 0.5 = 0.33

期望它们具有可比性是否正确？我发现大多数论文只使用其中一种，没有人真正比较过这两种评估指标的结果。

【问题讨论】：

标签： deep-learning object-detection evaluation mscoco kitti

【解决方案1】：

来自他们的website

为了评估，我们计算对象的精确召回曲线联合对象的检测和方向相似召回曲线检测和方向估计。在后一种情况下，不仅对象 2D 边界框必须正确定位，而且评估鸟瞰视图中的方向估计。

(..)

我们使用 PASCAL 标准评估对象检测性能，并使用我们 CVPR 2012 出版物中讨论的度量来评估对象检测和方向估计性能

不太了解 Kitti 评估指标，通过阅读本文，它们似乎无法相互比较，可能不适合您常见的对象检测程序。

如果您的数据与 Kiti 数据集及其目标无关，强烈建议您放弃其指标并使用 COCO 指标或 PASCAL。

PASCAL 是最初的公制，但 COCO 是最近使用最多的，因为它是一种更严格的度量。

【讨论】：