如何使用 H2o Python 获得最佳分类阈值

【问题标题】：How get the best threshold for classification using H2o Python如何使用 H2o Python 获得最佳分类阈值
【发布时间】：2020-09-20 10:12:38
【问题描述】：

我有一个在 Python 中使用 H2o 的分类模型，其 AUC = 71%

但是基于混淆矩阵的准确率只有 61%。我知道混淆矩阵基于 .5 阈值

如何确定哪个阈值的准确度为 71%？

【问题讨论】：

标签： classification h2o threshold auc

【解决方案1】：

ROC曲线的AUC不准确，数值与阈值无关。它是衡量两个类别分离程度的指标。 71% 的值告诉您随机抽样正类的概率比随机抽样的负类具有更高的预测概率。见this解释。

选择阈值应取决于您的成本矩阵（误报或误报的惩罚程度）。您可能希望选择最大化所需指标的阈值（最大 F1、精度、准确度）。 H2O 提供multiple options。在 H2O 中，如果您调用模型性能（Python ex：your_model.model_performance()），您将获得max accuracy 和列出的其他优化指标的阈值。

【讨论】：