如何自信地评估 ML 图像分类器

Question

假设我有一个模型，可以将图像分类为 n 个类别之一。我知道如何仅根据输出标签计算准确性和灵敏度。但是，我想更具体一点。我怎么能把每个输出产生的置信度百分比也合并进去？？？

Answer 1

您可以使用bootstrapping 来获取您的模型在数据集上的置信区间。完整的演示here。如果您希望它用于单个样本，您可以定义另一个列表，例如 stat 列表，并将该个体的预测概率存储在其中。