ROC 曲线看起来不对答案

【问题标题】：ROC curve not looking rightROC 曲线看起来不对
【发布时间】：2017-04-09 13:11:50
【问题描述】：

我已经使用 ROCR 包为 2 类问题绘制了 ROC 曲线。根据我的理解，至少对于较小的数据集，曲线应该看起来像阶梯变化图。我的输入实际上很小，但我得到的曲线基本上是直线。是因为 PROC 通过曲线拟合了一条线，还是我缺少其他东西？

输入在这里click me，代码如下，最后是ROC部分。感谢您的帮助！

library("caret")
library("ROCR")
sensor6data_s10_2class <- read.csv("/home/sensei/clustering/sensor6data_f21_s10_with2Labels.csv")
sensor6data_s10_2class <- within(sensor6data_s10_2class, Class <- as.factor(Class))
sensor6data_s10_2class$Class2 <- relevel(sensor6data_s10_2class$Class,ref="1")

set.seed("4321")
inTrain_s10_2class <- createDataPartition(y = sensor6data_s10_2class$Class, p = .75, list = FALSE)
training_s10_2class <- sensor6data_s10_2class[inTrain_s10_2class,]
testing_s10_2class <- sensor6data_s10_2class[-inTrain_s10_2class,]
y_s10 <- testing_s10_2class[,22]

ctrl_s10_2class <- trainControl(method = "repeatedcv", number = 10, repeats = 10 , savePredictions = TRUE)
model_train_multinom_s10_2class <- train(Class2 ~ ZCR + Energy + SpectralC + SpectralS + SpectralE + SpectralF + SpectralR + MFCC1 + MFCC2 + MFCC3 + MFCC4 + MFCC5 + MFCC6 + MFCC7 + MFCC8 + MFCC9 + MFCC10 + MFCC11 + MFCC12 + MFCC13, data = training_s10_2class, method="multinom", trControl = ctrl_s10_2class)
pred_multinom_s10_2class = predict(model_train_multinom_s10_2class, newdata=testing_s10_2class)

pred2_s10 <- prediction(as.numeric(as.character(pred_multinom_s10_2class)), as.numeric(as.character(y_s10)))
perf2_s10 <- performance(pred2_s10, "tpr", "fpr")
plot(perf2_s10,col='magenta',lwd=3)

【问题讨论】：

标签： r machine-learning data-mining roc

【解决方案1】：

您应该预测类别概率而不是类别标签。试试这个：

pred_multinom_s10_2class = predict(model_train_multinom_s10_2class, newdata=testing_s10_2class, type='prob')

pred2_s10 <- prediction(pred_multinom_s10_2class[,1], as.numeric(as.character(y_s10)))
perf2_s10 <- performance(pred2_s10, "tpr", "fpr")
plot(perf2_s10,col='magenta',lwd=3)

【讨论】：

没错，我完全忘记了。感谢您的帮助。