【问题标题】：How are confidence scores calculated in AWS SageMaker GroundTruth?在 AWS SageMaker GroundTruth 中如何计算置信度分数？
【发布时间】：2020-08-09 04:04:26
【问题描述】：
AWS 的 SageMaker/GroundTruth 标签作业会为每个人工注释的标签返回一个 confidence score。
但是，分数并不是标记任务的 N 个工人的反应的直接函数。
例如，在所有三个工人分配不同标签的任务上，分数会有所不同（0.61、0.55、0.68）。在 2/3 同意的情况下，分数也有所不同（0.95，0.91）。
“自动数据标注”已禁用，表示所有项目均由人工标注，而非完全/部分自动分类。
AWS 如何计算这些置信度分数？
【问题讨论】：
标签：
amazon-web-services
amazon-sagemaker
【解决方案1】：
我找不到详细信息，因此请保留这个问题，希望得到真正的答案。但这是我目前能找到的：
每个标签作业都有一个 AnnotationConsolidationConfig 参数，可让您控制如何使用 AWS Lambda 函数计算置信度分数。
单图分类的默认描述为：
期望最大化方法的一种变体。
它估计每个工人的参数，并使用贝叶斯推理根据来自各个工人的类注释来估计真实的类。”
但是，由于缺乏权限，普通 AWS 用户似乎无法查看该函数本身。