如何评估链接预测任务的质量？答案

【问题标题】：How to evaluate quality of link prediction task?如何评估链接预测任务的质量？
【发布时间】：2016-11-30 08:58:31
【问题描述】：

我知道在这里我们可以使用精度、召回率、AUC 等。我的意思是：我们有 4 个用户（'a'、'b'、'c'、'd'）并且我们已经预测到该用户“a”与“b”的链接概率为 0.7，“c”为 0.4，“d”为 0.3，但真正将用户“a”添加到好友列表中的只有用户“c”，所以如何评估我们的准确性预测？

【问题讨论】：

也许你可以在你的预测算法中设置一个阈值，如果这些预测的概率高于阈值，它可以返回多个预测，这增加了灵活性。
现在阈值无关紧要。我不了解评估的方法。例如在推荐系统中我们可以获得这样的质量：算法预测 y_pred = [0, 2, 1, 3] 这些评分，但真实值是 y_true = [0, 1, 2, 3]，所以使用类似 accuracy_score( y_true, y_pred) 从 sklearn 我们得到 0.5。但是在我的情况下如何评估质量呢？
嗯，我认为没有通用的质量评估方法（除了 Recall、Precision 等）。因此，您可以在特定情况下建立自己的规则和评估系统。我的经验告诉我，不同的推荐系统差异很大，目标也不同，所以你应该根据你的目标调整你的评价。

【解决方案1】：

查看Sklearn.Metrics，尤其是metrics.f1_score 和metrics.confusion_matrix，因为您显然正在执行分类任务。

另外，均方根误差可能会有所帮助（与正确值的平均差）
正如您提到的精确/召回式测试，看看前 N 条建议中有多少是“好”的。
最后，您想进行某种 A/B 测试，以根据您拥有的任何商业模式指标（点击/转化）来查看这些建议是否真的是有用的推荐

【讨论】：