【发布时间】：2018-06-30 08:11:07
【问题描述】：
现在我正在重现 Mask R-CNN（实例分割任务。）
我不知道如何使用 MS COCO 测试数据集。
存在 'instances_train2014', 'instances_val2014' 有特定的 注释。
但在测试数据中，只有image_id，image_url，图片高宽。 完全不知道怎么用。
有人能解决这个问题吗？ :( 对不起英语不好
【问题讨论】：
标签： mscoco
【发布时间】：2018-06-30 08:11:07
【问题描述】：
测试数据就是这样，测试数据。他们没有为它发布注释。相反，您在 train/val 数据集上进行训练，并将测试数据的结果提交到评估服务器。这确保了不同方法之间的公平比较。
【讨论】：
那么你能告诉我Researcher如何评估模型的mAP，比如ssd_mobilenet_v1_coco有COCO mAP[^1] = 21（根据This）？他们是否在 COCO 验证集而不是 COCO 测试集上进行计算并记录 mAP 编号？
【讨论】：
-
请看这里：github.com/AlexeyAB/darknet/issues/2145 - 无法在本地完成，但请查看 CodaLab。
-
这没有回答我的问题。 Researcher 是在 COCO 验证集而不是 COCO 测试集上计算 mAP[^1]，还是在 COCO 测试集上使用 CodaLab 计算 mAP[^1]？
-
他们在 COCO 验证集上计算了 mAP。 COCO2014 minival 但不同的拆分。可以参考这里：[^1]：见 MSCOCO 评估协议。这里的 COCO mAP 数字是在 COCO 14 minival 集上评估的（注意我们的拆分与 COCO 17 Val 不同）。我们拆分中使用的完整图像 ID 列表可能会在此处被破坏。