如何获得扩展查询的准确性（用户输入扩展查询以获得更好的 IR）？

Question

使用算法，我正在输入用户查询并对其进行扩展。现在我需要测试我的算法的准确性，即我想获得扩展查询的准确性（精度和召回率）？

我使用过 terrier 并采用 Trec 数据集（包含文档集合）， 我进行了随机查询并使用 terrier 检索了相关文档，然后我使用我的算法对随机查询进行了扩展查询并检索了相关文档。

但我不知道如何使用这种方法获得精确度和召回率。

那么我如何获得扩展查询的准确性？

如果有其他工具可以使用？

谢谢

Answer 1

TREC 数据集（连同一组查询和一个文档集合）为每个查询关联了relevance judgments。

要衡量您的查询扩展方法的“准确性”（有效性），您需要在下游检索性能上对其进行测试，即您应该考虑您的查询扩展是否有效，如果它改善了检索（在标准度量，例如平均精度或 P@5)。

使用trec_eval 工具在查询扩展方法之前（基线）和之后评估检索的有效性。