来自多个排名列表的总体排名

Question

我浏览了很多在线文献，包括这个论坛，但没有任何运气，希望有人能帮助解决我目前面临的统计问题：

我有 5 个排名数据列表，每个列表包含 10 个项目，从第 1 位（最佳）到第 10 位（最差）排名。出于上下文的考虑，每个列表中的 10 个项目是相同的，但由于用于确定其排名的技术不同，因此排名顺序不同。

*示例数据： 清单 1 清单 2 清单 3 ...等

项目 1 排名 1 排名 2 排名 1

项目 2 排名 3 排名 1 排名 2

项目 3 排名 2 排名 3 排名 3

...等*

我正在寻找一种方法来解释和分析上述数据，以便我得到一个最终结果，显示基于每个测试及其位置的每个项目的总体排名，例如

结果

排名 1 = 项目 1

排名 2 = 项目 3

等级 3 = 项目 4

...等

有谁知道我可以如何以一种统计合理的方法（在研究生/博士适用水平）解释这些数据，以便我可以理解总体排名，表明列表中每个项目在 5 项测试中的重要性？或者，如果我可以研究其他类型的技术或统计测试，我将不胜感激任何提示或指导。

（可能还值得注意的是，我还执行了更简单的数学技术，例如求和、平均、最小 - 最大测试等，但在这个级别上，我觉得这些在统计上不够重要）。

任何帮助或建议将不胜感激，感谢您的宝贵时间。

Answer 1

1. 您可以使用机器学习来获取您的排名列表。在信息检索研究领域——这被称为Learning to Rank——并且有大量关于它的文献。 This tutorial（抬头：高级教程）可以帮助您理解基本概念，并为您提供深入了解的文章。

2. 您可能还想看看interleaved ranking。这最初是为评估两个列表而设计的，但它也可能对您的情况有好处。

Answer 2

许多非参数统计测试通过将接收到的数据转换为等级然后分析等级来工作（如果数据远非正态分布，这可以让生活更轻松）。如果您的排名似乎是从您无法直接观察到的某些潜在分数或优点得出的，您可以应用这些测试中的任何一个 - 在http://en.wikipedia.org/wiki/Ranking#Ranking_in_statistics 或任何关于非参数统计的书上有一个简短列表，例如 Conover，应该覆盖它们。

如果您可以提出您感兴趣的统计数据，例如任何一项的总排名，您可以使用排列检验 - http://en.wikipedia.org/wiki/Resampling_%28statistics%29#Permutation_tests 来计算相关统计数据至少为极端的概率正如所观察到的，在所有排名都是随机的概率下 - 您只需生成大量遵循原假设的数据，并查看随机生成的数据中的统计分布。然后，您可以使用它来获得 P 值，或者更好的是，获得置信区间。