AUROC 的正态分布答案

【问题标题】：Normal Distribution of AUROCsAUROC 的正态分布
【发布时间】：2016-05-25 01:34:49
【问题描述】：

我已经执行了多次交叉验证并获得了几个 AUROC（ROC 下的区域）。我发现这些 AUC 的分布服从正态分布。对此有什么科学解释吗？谢谢。

【问题讨论】：

【解决方案1】：

中心极限定理通常用于证明基于大量数据计算的统计数据的（样本）分布的近似正态性。对于接近 0 或 1 的 AUC，这显然会崩溃，因为正态分布在整个实线上都有支持。

你为什么在乎？只是出于好奇，还是您想用这种直觉做点什么？

如果您想计算间隔，更好的技术是使用引导程序。如果您要比较两个模型的 ROC，您可以引导两个模型的配对决策以获得差异的区间。

【讨论】：

中心极限定理实际上很有意义。我确实检查了一些用于计算置信区间的可能技术，结果发现有些人假设对于大量 AUC，接近分布成为正态分布，但当然有不能出现负值的限制，但同时使用相同的属性。

【解决方案2】：

AUROC 值的正态分布是不可能的。

因为正态分布是无限的，但 AURUC 有界到 [0:1]。所以它最多看起来像一个正态分布。

您更有可能观察到二项分布。

AUROC 有一个概率解释（抱歉，我不记得它的来源）。假设有一个“真实”概率 p，并且您正在从这个真实概率 p 中观察 k 个随机样本，那么 AUROC 值的分布可能是 B(n,p)/n？

【讨论】：

AUCROC 绑定到您所描述的范围 [0-1]。二项分布支持正整数。您可能是指 Beta 发行版吗？或者你能澄清一下吗？
B(n;p) / n 应该是 [0;1]
原来有一些关于它的非常好的论文：'Comparison of non-parametric confidence interval for the area under the ROC curve of a continuous-scale diagnostic test', 'Confidence Intervals for the Area under ROC曲线'