我如何知道我的正确概率分数的置信度？答案

【问题标题】：How do I know the confidence level of my correct probability score?我如何知道我的正确概率分数的置信度？
【发布时间】：2016-02-16 06:14:20
【问题描述】：

我有一个作家识别系统，它针对每个训练模型返回测试样本的 NLL（负最小似然）分数。例如，如果有 13 个模型将样本与 NLL 输出进行比较，则会如下所示。

15885.1881156907    17948.1931699086    17205.1548161452    16846.8936368077    20798.8048757930    18153.8179076007    18972.6746781821    17398.9047592641    19292.8326540969    22559.3178790489    17315.0994094185    19471.9518308519    18867.2297851016

每列代表该样本针对每个模型的得分。第 1 列给出了针对模型 1 的分数，依此类推。

这个测试样本是由模型1编写的。所以第一列应该有正确预测的最小值。

我在此处提供的输出给出了所需的预测，因为第 1 列的值是最小值。

当我展示我的结果时，有人问我对分数或预测值有多自信？我被要求提供每个分数的置信度。

我在这之后做了一些阅读，发现了一些关于 95% 置信区间的帖子，这些帖子显示为我的谷歌查询的每个结果，但它似乎不是我需要的。

我需要这个的原因是假设对于一个测试样本我有来自 2 个模型的分数。然后使用我应该知道要获得哪个分数的置信水平。

例如，对于同一个测试样本，另一个模型的分数是：

124494.535128967    129586.451168849    126269.733526396    129579.895935672    128582.387405272    125984.657455834    127486.755531507    125162.136816278    129790.811437270    135902.112799503    126599.346536290    136223.382395325    126182.202727967

两者都正确预测，因为在这两种情况下，第 1 列中的分数都是最低的。但是我又该如何找到我的分数的置信度呢？

在此不胜感激。

【问题讨论】：

标签： matlab statistics confidence-interval

【解决方案1】：

据我所知，您不能仅针对一个值评估置信度。
假设您可以将结果存储在一个矩阵中，其中每一列对应一个模型，每一行对应一个示例（或观察）。您可以根据以下过程使用该模型的所有预测结果来评估每个模型的置信度（即，您可以评估矩阵中任何列的置信区间）：

评估列的平均值，我们称之为µ
评估列的标准差，我们称之为σ
将平均误差评估为 ε=σ/sqrt(N)，其中 N 是样本数（行）
置信区间的下限由 µ-2ε 给出，而上限由 µ+2ε 给出。通过直接减法，您可以找到这种置信区间的幅度。越接近零，您的测量就越准确。

希望这就是你要找的。p>

【讨论】：

感谢您的回复。在某些测试中，我确实有多个样本，并且输出是一个矩阵。但我不明白你的最后一步。减去振幅以获得 C.I. 是什么意思？按照您的步骤，我已经计算了上限和下限，但是我要减去什么来查看它是否接近零。
你不减去幅度，你减去上限和下限。假设Cup 是上限，Cdown 是下限（在步骤#4 中进行评估），通过执行Cup-Cdown，您可以获得该区间的幅度，即差距有多大。