h2o Flow UI：构建模型但没有 ROC CURVE 或 AUC 用于多类？答案

【问题标题】：h2o Flow UI: Build Model but no ROC CURVE or AUC for multiclass?h2o Flow UI：构建模型但没有 ROC CURVE 或 AUC 用于多类？
【发布时间】：2019-11-17 16:17:08
【问题描述】：

参考https://dzone.com/articles/machine-learning-with-h2o-hands-on-guide-for-data

我能够按照示例绘制 ROC 和 AUC 曲线，但是当我对数据执行相同操作时，我得到的是“评分历史 - 偏差”而不是“评分历史 - LOGLOSS”和我的“ROC 曲线 -训练指标”没有出现。

我的数据集有 2 个类，0、1，而不是示例中的 yes 和 no。什么决定了 ROC 曲线是否可移植？

2019 年 7 月 10 日更新了对 Maurever 回复的引用：我的响应“标签”已“转换为枚举”并将分布更改为“bernoulli”，但我仍然无法绘制 ROC。

更新：对于和我有同样遭遇的未来用户。即使您转换为枚举，似乎 h2o 也无法使用类为“0”和“1”的响应。我的问题通过将 0 和 1 重新标记为“正常”和“恶意”来解决，并且将绘制 ROC 曲线。

【问题讨论】：

我刚刚看到你的更新。只要转换数据 H2O 就可以使用“0”和“1”的响应码。问题是你有ENUM(3) 而不是ENUM(2)。换句话说，您的数据中还有其他一些价值。它可能是“2”，但更可能是空格或其他东西。可能只有一排。清理数据并重试。按该列在电子表格中排序应该很容易找到它。

标签： machine-learning enums random-forest h2o roc

【解决方案1】：

您必须将响应列的类型更改为“枚举”，

或将模型参数设置中的分布更改为“bernoulli”（二项式分类）。

在图像中，您共享的是“Enum(3)”，因此结果是多项式分类而不是二项式。所以你应该看到混淆矩阵而不是 ROC 曲线。 ROC 曲线只能显示 2 类分类（更多关于 ROC 的信息：https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5）。

您应该会看到类似这样的内容（如果您将分布设置为“多项式”）：

【讨论】：

【解决方案2】：

我的数据集有 2 个类，0、1，而不是示例中的 yes 和 no。

H2O 决定这是一个数字列，而不是一个分类（又名因子）列。解决方法就是在该列上使用as.factor()。在导入数据之后，但在使用它构建模型之前执行此操作。

然后它会知道建立一个分类模型，而不是一个回归模型，并且你会得到你期望看到的指标。

这是一个示例：https://stackoverflow.com/a/41441578/841830（或在 H2O 文档中搜索 as.factor，您会发现更多负载）

在 Flow 中，您首先上传文件，然后单击解析文件，它会显示列列表。分类/因子列在那里被称为“枚举”（是的，它令人困惑）。您的列可能显示为数字，因此请转到下拉框并将其更改为枚举。然后开始解析。然后，在此之后，构建您的模型。

【讨论】：

嗨，我可以知道如何在 h2o Flow UI 中设置为因子吗？
按照示例，因子是枚举类型，因此我在解析 Flow 中的数据时将响应设置为枚举，但仍然没有绘制 ROC 曲线。
我已经手动将我的响应列设置为命令行中的因子，在本地写回 csv 并再次按照示例进行操作，但我仍然无法让 h2o 绘制 ROC 曲线。请帮忙。
@the775 签入 Flow 以查看实际导入的数据类型。那是Python代码？应该是df['target_cured'].asfactor() 见docs.h2o.ai/h2o/latest-stable/h2o-docs/data-munging/…
嗨，达伦，我发现了错误。我试图将我的df['target_cured'] 转换为 before 转换为 H2OFrame 的类别。需要转换为 H2OFrame，hf = h2o.H2OFrame(df) 然后运行 hf['target_cured'] = hf['target_cured'].asfactor()