ML Pipeline 和指标：Precision、Recall、AUC-ROC、F1Score答案

【问题标题】：ML Pipeline and metrics: Precision, Recall, AUC-ROC, F1ScoreML Pipeline 和指标：Precision、Recall、AUC-ROC、F1Score
【发布时间】：2017-04-01 01:12:46
【问题描述】：

我正在使用 ML Pipeline，类似于：

VectorAssembler assembler = new VectorAssembler()
                .setInputCols(columns)
                .setOutputCol("features");
LogisticRegression lr = new LogisticRegression().setLabelCol(targetColumn);
        lr.setMaxIter(10).setRegParam(0.01).setFeaturesCol("features");

Pipeline logisticRegression = new Pipeline();
logisticRegression.setStages(new PipelineStage[] {assembler, lr});
PipelineModel logisticRegressionModel = logisticRegression.fit(learningData);

我想要的是在此模型上获得像 Precision, Recall, AUC-ROC, F1-SCORE, ACCURACY 这样的标准指标的方法。我找到了BinaryClassificationMetrics - 但不确定它是否完全兼容。 RegressionEvaluator 似乎只返回 mse|rmse|r2|mae。

那么使用 ML Pipeline 提取 Precision、Recall 等的正确方法是什么？

【问题讨论】：

找不到任何有用的解决方案，所以最终手动编程 Precision、Recall、F1Score 和 Accuracy（计算 tp、fp、fn、tn）

标签： apache-spark apache-spark-mllib apache-spark-ml precision-recall

【解决方案1】：

上面 Ryan 的回答中缺少一些东西。

我可以确认以下工作（注意：我的用例是多类分类）

val scoredTestSet = model.transform(testSet)
val predictionLabelsRDD = scoredTestSet.select("prediction", "label").rdd.map(r => (r.getDouble(0), r.getDouble(1)))
val multiModelMetrics = new MulticlassMetrics(predictionAndLabelsRDD)

【讨论】：

【解决方案2】：

对数据进行评分后，获取预测和标签并将其传递给 BinaryClassificationMetrics

类似下面的东西（认为它在 scala 中我希望它有所帮助）

val scoredTestSet = logisticRegressionModel.transform(testSet)
val predictionLabelsRDD = scoredTestSet.select("prediction", "label").map(r => (r.getDouble(0), r.getDouble(1)))
val binMetrics = new BinaryClassificationMetrics(predictionAndLabels)
// binMetrics.areaUnderROC

来自https://spark.apache.org/docs/latest/mllib-evaluation-metrics.html#binary-classification的其他示例

这种情况下的预测是 1.0 或 0.0 您还可以提取概率并使用它代替预测，以便 binMetrics 可以显示多个阈值的数据

【讨论】：