对象检测/分类任务的性能指标（用于图像）

Question

我在计算对象检测/分类模型的评估指标时遇到问题。 假设来自 Tensorflow Model Zoo 的模型用于训练以检测对象并按照其网络教程中所述进行正确评估。 这是问题所在：我不确定如何计算性能指标，例如特异性、敏感性、F1 分数和 IOU——它们中的大多数是基于真阳性、假阳性、假阴性和真阴性值——而不仅仅是 AP 和从标准“coco_detection_metrics”中调用值。 Tensorboard 可能对某些人有用，但这还不够，如果没有针对某些任务的其他指标，这还不够。 那么，有人可以为社区更清楚地说明这一点吗？一些代码脚本非常适合改编。

例如，作为向前迈出的一步：我是否应该将不同的 metrics_set 添加到“eval_config”以便能够检查我感兴趣的指标？

eval_config { 指标集：“coco_detection_metrics” use_moving_averages: 假 } 我该如何解决这个问题？哦，天哪。

Answer 1

您可以在评估数据上获得模型的结果。然后，您可以获取这些结果并将它们用于您自己的指标，或者从 sklearn 获取指标并应用于您的结果。

# Given val_input, val_y_true as inputs to the model and labels.
y_pred = trainedmodel.predict(val_input)

那么你真的可以做任何你想做的事。例如

from sklearn.metrics import precision_recall_curve, auc

precision, recall, thresholds = precision_recall_curve(val_y_true, y_pred)
auc_trained_model = auc(fpr_keras, tpr_keras)

plt.figure(1)
plt.plot([0, 1], [0, 1], 'k--')
plt.plot(precision, recall, label='trainedmodel (area = {:.3f})'.format(auc_trained_model))
plt.xlabel('precision')
plt.ylabel('recall')
plt.title('PR curve')
plt.legend(loc='best')
plt.show()

例如，这将绘制模型的 PR 曲线。