用于预测的 ROC - 如何定义类标签

Question

我有一组来自模型的预测和一组真实的观察值，我想创建一个 ROC。

预测的质量（以绝对误差计）与预测的大小无关。所以我有一组预测 (pred(1), pred(2), ..., pred(n)) 和观察结果 (obs(1), obs(2), ..., obs(n))。

有人告诉我将我的二元分类向量 label(i) 的元素创建为 label(i) = ifelse(|obs(i) - pred(i)|

但我看不出建议的标签是如何有效的，因为更高的 pred() 值不一定会区分我的二元分类，即预测值不能“排名”我的预测质量（即给定的阈值不会自然地划分我的数据）。有人可以告诉我在这里做什么吗？上面给出的建议是否有效？还是 ROC 不适合在这里使用？

Answer 1

ROC 分析是为二进制分类定义的，其中观察到的标签可以采用两个值（二进制），并且您的预测是任何类型的数字。 ROC 分析扩展到多类分类，但您的问题表明您的观察是某种连续测量。您可以将它们二值化（类似于label(i) = ifelse(obs(i) > someValue, 1, 0)），但标签依赖于分类是无效的：它们必须是某种独立于您的分类器的真理。

或者，如果您的观察是连续的，您应该使用相关系数或类似度量来评估您的预测质量。