ELKI，输出：ROCAUC，Precision@k，f1.maximum答案

【问题标题】：ELKI, output: ROCAUC, Precision@k, f1.maximumELKI，输出：ROCAUC，Precision@k，f1.maximum
【发布时间】：2015-10-24 08:04:09
【问题描述】：

Precision @ k 在异常情况下的用途是什么？（当我在同一个数据集上改变 k 时，我总是得到：Precision @ 3016，我不知道 ELKI 从哪里得到这个数字，异常值的数量是 1508）

和

precision.average 和precision.r?

和 f1.maximum？

我知道 ROCAUC 是衡量算法将异常值标记为异常值以及将正常值标记为正常对象的程度的度量。

我想看看异常值检测的质量是否良好。我也可以通过其他措施来做到这一点吗？

Computing LDOFs
LDOF for objects: 49534 [100%]
de.lmu.ifi.dbs.elki.algorithm.outlier.lof.LDOF.runtime: 116887 ms
Evaluating using minority class: yes
de.lmu.ifi.dbs.elki.evaluation.outlier.OutlierRankingEvaluation.rocauc: 0.736341684836717
de.lmu.ifi.dbs.elki.evaluation.outlier.OutlierRankingEvaluation.precision.average: 0.10795456476088741
de.lmu.ifi.dbs.elki.evaluation.outlier.OutlierRankingEvaluation.precision.r: 0.16578249336870027
de.lmu.ifi.dbs.elki.evaluation.outlier.OutlierRankingEvaluation.f1.maximum: 0.18336314847942753
ROCAUC: 0.7363416848367167
Precision @ 3016 0.13726790450928383

【问题讨论】：

标签： data-mining outliers elki

【解决方案1】：

R-precision 是 Precision@k，其中 k=您的基本事实中的异常值数量。此时，召回率 = 精度。因此，在您的情况下，它将是precision@1508。 “r”来自“recall = precision”点。

这不是算法的k参数。但两者在文学中通常都称为 k。

Maximum F1 是通过改变截止 k 获得的 F1 度量（精度和召回率）的最大值。所以存在一个k，其中precision和recall的调和均值为0.18336。

平均精度是通常的平均精度；在每个异常值处进行评估，然后取平均值。

有关更多详细信息，请参阅例如https://en.wikipedia.org/wiki/Information_retrieval

Precision@2k 是一个人工制品：自动评估将产生高达 2k 的precision@k 曲线（通常是有趣的区域）。曲线将输出曲线末端的精度；但这通常不是特别有用（您可以手动配置最大 k 来剪裁曲线，但这并不能使它成为一个有趣的评估 k）。我将从课程中删除它；并且也不需要第二个 ROCAUC 输出（也来自视觉曲线评估）。

【讨论】：