如何计算自定义数据集上的 TF 对象检测 API 精度？答案

【问题标题】：How to calculate TF object detection API accuracy over custom dataset?如何计算自定义数据集上的 TF 对象检测 API 精度？
【发布时间】：2020-02-26 14:20:47
【问题描述】：

我正在使用 TF 对象检测 API 来检测自定义数据集上的对象，但是在准确性方面我不知道如何计算它，如何计算自定义数据集上的对象检测模型的准确性？并找到模型在测试数据集上的置信度分数？
我尝试使用 eval.py 但它没有帮助。

【问题讨论】：

标签： tensorflow object-detection

【解决方案1】：

您是在谈论训练准确度、验证准确度还是测试准确度？顾名思义，准确度有 3 个不同的值：

训练准确度：模型在训练集上的准确度
验证准确度：模型在验证集上的准确度
测试准确度：模型在测试集上的准确度

训练和验证准确度是训练的输出，对于测试准确度，您需要在测试集上运行模型。

您是重新训练模型（从检查点、微调...）还是按原样使用模型？如果你重新训练了模型，你应该很容易获得训练和验证的准确性，实际上你在每个时期都有这些值。如果您没有重新训练模型，您只能检查测试准确度，因为测试数据集已标记。

【讨论】：

我从一个检查点重新训练了一个模型，我想知道测试集的准确性，这样我就可以将它用于未来的数据！我所说的未来数据是指未见数据，它们不是训练、验证或测试数据，尽管我们可以将这些新数据视为测试数据集。而且我希望模型在测试数据集上的准确性，并且我认为它是平均的，而不是每个时期。

【解决方案2】：

这个link 帮助我运行 eval.py 并获取训练数据的 mAP 值。只需要像这样使用 CUDA 运行： CUDA_VISIBLE_DEVICES="" python3 eval.py --logtostderr --pipeline_config_path=pre-trained-model/ssd_inception_v2_coco.config --checkpoint_dir=training/ --eval_dir=eval/

【讨论】：