Vertex-AI AutoML 对象检测的平均精度指标

Question

我使用 vertex-ai automl 功能训练了一个对象检测模型（大约 1400 个训练图像、180 个验证和 180 个测试图像，具有 6 个类和边界框注释）。我遵循了这个link，一切都很顺利，我可以训练模型（使用automl作为方法）。评价结果如下所示

我还附上了精确召回曲线。

在这里，我对指标有一些疑问

1. 平均精度显示为0.595。它是否仅在一个 IoU 阈值 0.5 或多个阈值（如通常报告的 COCO 指标（AP@[0.5, 0.95, 0.05]）或其他任何方式）计算？
2. 如果我更改 IoU 阈值（使用条形图），平均精度不会改变。我想问为什么会这样？
3. 在给定的置信度和 IoU 阈值下报告精度和召回率，对吗？ （我很确定是这种情况，但想再确认一次）

   如果您需要我这边的更多详细信息，请告诉我。

   谢谢。

Answer 1

考虑以下答案：

1. IoU 阈值是一种计算预测分数的方法IE。为了客观判断模型预测框位置是否正确，使用这个阈值。

   如果模型预测一个 IoU 分数大于或等于阈值的框，则预测框与其中一个真实框之间存在高度重叠。这表明该模型能够成功检测到物体。 因此，在您的情况下，该模型正在预测 IoU 阈值为 0.5 的图像。

   2. 指标通常会随着阈值的变化而变化，我建议在 Google Cloud support/Issuetracker 线程上提出这个问题。

   3. 你是对的。