为什么我的 ROC 曲线看起来像一个 V？答案

【问题标题】：Why does my ROC curve look like a V?为什么我的 ROC 曲线看起来像一个 V？
【发布时间】：2023-03-21 09:31:01
【问题描述】：

newpred <- c(1, 0 ,0 ,1 ,0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0,
0, 0, 1, 0, 1, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 1, 0,0, 1, 0, 0,
0, 0,0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 1, 1, 0,
 0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0,  
 1,0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0, 1,
 1, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0)                    


       newlab <- c(0, 0 ,0 ,0 ,0 ,0 ,0 ,1 ,0 ,0 ,0 ,0 ,0 ,0,
                   0, 0 ,0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
                   0 ,0, 1, 1, 0, 0, 0, 0, 0, 0, 1,
                    0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
                    0, 1 ,0, 0 ,0, 0 ,0, 0 ,1, 0 ,0, 0 ,0, 0 ,0,
                   0, 0 ,1 ,0 ,0 ,0 ,0 ,0 ,0 ,1,
                    0 ,1, 0 ,1, 0 ,0, 0 ,0, 0 ,0, 0 ,0, 0 ,0, 0 ,0)

所以第一个向量是我的预测，第二个向量是参考。我不明白为什么我的曲线看起来像V。我从未见过ROC曲线是这样的！我的顾问希望我通过添加更多点来添加点以使图形更平滑/更弯曲。我尝试使用 pROC 绘制图表，但我可以添加的唯一参数是预测和参考。

我也试过 ROCR

print.cutoffs.at=seq(0,1,by=0.1), text.adj=c(-0.2,1.7))

得到了这个

如何平滑曲线或添加更多点？

【问题讨论】：

你只有一个自变量吗？那是二进制变量吗？
是的，它是一个二进制独立变量
那已经很顺利了
情节中只有三个点很重要。如果您始终预测为负，则真阳性率和假阳性率均为 0。如果您始终预测为阳性，则真阳性率和假阳性率始终为 1。有趣的值是当您对自变量的值之一预测为阳性但对对方不利。然后你会有一些真阳性和一些假阳性。但这耗尽了您的分类器的可能性，因此您的情节实际上只有三点很重要。其余的只是连接这些点。再流畅不过了。
@Dason 这是问题的一部分，但不是全部。如果这只是概率模型中离散预测变量的情况，那么您会期望看到（一小组）实数的预测值。在这里，OP 的预测已经离散化为标签。

标签： r machine-learning roc auc

【解决方案1】：

ROC 图用于检查概率分类器的性能，即输出响应变量为 A 类或 B 类的概率。

从预测概率到硬预测类标签的方法是设置一个截止点：如果属于 A 类的预测概率大于截止点，则将其分配为标签 A。否则将其分配为 B .

通常人们使用 0.5 作为截止值，以便将观察值分配给概率最高的类别。但是，没有什么能阻止您使用不同的截止值。如果您使用较高的截止值，例如 0.9，那么您将看到分配给 A 的观察值非常少——这就像告诉您的分类器仅当它非常确信这是正确的值时才将某事物标记为 A。反之亦然，如果您使用低截止值 - 在这种情况下，只有当您非常确信 B 是正确值时，您才将某项标记为 B。

ROC 图基本上是通过滑动从 0 到 1 的截止值生成的，并查看生成的预测标签与实际标签的比较情况。但这首先假设您有一个潜在的概率预测。您只有预测的标签，这就是您的情节退化的原因。

【讨论】：

那么用这张图来讨论我的模型的准确性会不会不合适呢？（我还使用了从我的混淆矩阵输出的 NPV、PPV、特异性、敏感性和准确性）
如果您想获得有关如何衡量模型性能的建议，这将是stats.SE 的问题。请务必包含有关您适合哪种模型（逻辑回归、树、SVM 等）、您使用的数据等的详细信息。
但是，如果您的模型无法生成范围的预测值，那么 ROC 不会告诉您太多信息。