【问题标题】:What is the threshold in AUC (Area under curve)AUC(曲线下面积)的阈值是多少
【发布时间】:2019-06-22 10:23:28
【问题描述】:

假设一个二元分类器(比如随机森林)rfc,我想计算 AUC。我很难理解阈值是如何在计算中使用的。我了解您针对不同的阈值绘制了 TPR/FPR 图。我也明白阈值是用来作为预测类 1(否则是类 0)的阈值,但是 AUC 算法是如何预测类的呢?

假设使用sklearn.metrics.roc_auc_score,您通过了y_truey_rfc(作为真实值和预测值),但我看不出阈值如何在 AUC 分数/图中发挥作用。

我已经阅读了不同的 AUC 指南/教程,但他们对阈值及其使用方式的所有解释都有些模糊。

我也看过How does sklearn actually calculate AUROC?

【问题讨论】:

标签: classification roc auc


【解决方案1】:

AUC曲线是根据不同阈值的TPR/FPR生成的。 ROC的要点是从(0;1)中采样阈值,得到一个曲线点。请注意,如果您的分类器是完美的,您将得到点 (0,1),并且对于所有较小的阈值都不会是最差的,因此它也会在 (0,1) 上导致 auc = 1。

AUC 不仅提供有关分类质量的信息,还提供有关评估分类器置信度的信息。

【讨论】:

  • 我完全明白,但曲线是如何生成的?又是如何计算曲线的阈值?
  • 如果您有阈值,您可以评估 TPR/FPR,它是曲线上的一个点。通常采样点之间的曲线片段由线段推断ncbi.nlm.nih.gov/pmc/articles/PMC4356897/figure/Fig1阈值是从(0; 1)随机采样的值,通常不是采样实现,而是从模型输出中获取所有值作为阈值,提供相同的结果。跨度>
  • 所以“n”类的阈值是其中有多少用于计算 TPR/FPR(范围为 [1,n])或..?
  • 您只能将 AUC 用于二元分类,因此您只能考虑“正”和“负”两个类别。 TPR 和 FPR 始终来自 [0;1]。降低阈值会鼓励您的分类器回答“肯定”,这会导致 TPR 相等或更好,但 FPR 值也会相等或更高。如果你的模型很好,降低阈值应该会比 FPR 更快地增加 TPR。
  • 您发布的链接,他们使用 5 个阈值 - 他们是如何选择的?阈值是数据的一部分吗?阈值是多少,使用时如何根据每个阈值计算 TPR/FPR(例如链接或 Iris 数据集)
猜你喜欢
  • 2012-01-29
  • 2018-02-23
  • 2017-01-25
  • 2014-03-19
  • 1970-01-01
  • 2017-06-05
  • 2020-05-18
  • 1970-01-01
相关资源
最近更新 更多