【发布时间】：2017-09-15 13:57:39
【问题描述】：
我在 Spark 中有一个逻辑回归模型。
我想从输出向量中提取 label=1 的概率并计算 areaUnderROC。
val assembler = new VectorAssembler()
.setInputCols(Array("A","B","C","D","E"))--for example
.setOutputCol("features")
val data = assembler.transform(logregdata)
val Array(training,test) = data.randomSplit(Array(0.7,0.3),seed=12345)
val training1 = training.select("label", "features")
val test1 = test.select("label", "features")
val lr = new LogisticRegression()
val model = lr.fit(training1)
val results = model.transform(test1)
results.show()
label| features| rawPrediction| probability| prediction|
+-----+--------------------+--------------------+--------------------+----------
0.0|(54,[13,31,34,35,...|[2.44227333947447...|[0.91999457581425...| 0.0|
import org.apache.spark.mllib.evaluation.MulticlassMetrics
val predictionAndLabels =results.select($"probability",$"label").as[(Double,Double)].rdd
val metrics = new MulticlassMetrics(predictionAndLabels)
val auROC= metrics.areaUnderROC()
概率如下所示：[0.9199945758142595,0.0800054241857405]
如何从向量中提取 label=1 的概率并计算 AUC？
【问题讨论】：
-
我不明白这个问题。这不是 areaUnderROC 默认计算的吗？
-
应该是这样。在 Python 中，相同的模型返回 AUC=91%，在 Spark AUC=73%。我想手动测试它。如何从向量中提取概率值？
标签： scala apache-spark classification logistic-regression auc