sklearn 中 nDCG 的输入

Question

sklearn nDcg的输入格式看不懂：http://sklearn.apachecn.org/en/0.19.0/modules/generated/sklearn.metrics.ndcg_score.html

目前我有以下问题：我有多个查询，每个查询的排名概率都已成功计算。但现在问题是为我想使用 sklearn nDcg 的测试集计算 nDCG。链接上给出的示例

>>> y_true = [1, 0, 2]
>>> y_score = [[0.15, 0.55, 0.2], [0.7, 0.2, 0.1], [0.06, 0.04, 0.9]]
>>> ndcg_score(y_true, y_score, k=2)
1.0

根据网站，y_true 是基本事实，y_score 是概率。所以以下是我的问题：

1. 此示例仅适用于一个查询还是多个查询？
2. 如果这只是一个查询，那么 y_true 代表什么：原始排名？
3. 如果这是针对单个查询，为什么我们有多个输入概率？
4. 如何将此方法应用于多个查询及其结果概率？

Answer 1

您可以将其视为类似于多类分类问题。

所以回答你的问题

1. 此示例仅适用于一个查询还是多个查询？

一个查询

1. 如果这只是一个查询，那么 y_true 代表什么：原始排名？

我将其称为文档的相关性标签，因为它可能具有重复值。

1. 如果这是针对单个查询，为什么我们有多个输入概率？

y_score是文档属于某一类的概率分布。在您的示例中y_score = [[0.15, 0.55, 0.2], [0.7, 0.2, 0.1], [0.06, 0.04, 0.9]] 表示第 0 个文档属于第 1 类（最大值为 0.55），第一个文档属于第 0 类（最大值为 0.7），第 2 个文档属于第 2 类（最大值为 0.9）。缺少文档，示例也具有误导性。如果有四个文件会更好。

4. 如何将此方法应用于多个查询及其结果概率？

然后，您可以在多个查询中平均每个查询的 nDCG 分数。