为给定的带有标签的项目集创建相似度矩阵的最佳方法答案

【问题标题】：Best way to create a similarity matrix for given set of items with tags为给定的带有标签的项目集创建相似度矩阵的最佳方法
【发布时间】：2016-08-26 10:48:24
【问题描述】：

我们有以下格式的数据：

{
  '1': ['Lathi Charge', 'NIT', 'Nirmal Singh']
  '2': ['Kangana Ranaut', 'Hrithik Roshan']
  '3': ['Hrithik Roshan', 'mohenjo daro', 'release date'],
  '4': ['NIT', 'Placements']
  ...
}

字典的键是项目，值是与它们关联的标签。条目数在1000万左右，我们要计算每个条目之间的相似度吗？

另一个与之相关的问题是，如果任何新条目在运行时出现，那么计算其与现有条目相似度的最佳方法是什么。

【问题讨论】：

你可以使用 Solr 吗？还是弹性搜索？
你如何定义相似度？
Similarity - 将是 0 到 1 范围内的项目之间的“相似度分数”
@Neo 是在不同的字典键之间表示相同列表元素的一种奇特方式吗？
用更多信息更新问题。以及至少一个样本相似性示例。

标签： python nlp scikit-learn

【解决方案1】：

我能想到的只有一个相似度得分可以可靠地处理您正在查看的数据（看起来您的数据类似于在将文档表示为词袋的语料库研究中收集的数据，每个都可能包含语料库中其他文档中不存在的几个单词）：这是余弦相似度。 Here 是一个很好的解释，还有一些 python 代码。

【讨论】：