计算文档和特定关键字之间的相似度

Question

我收集了有关某种疾病的报纸文章（未标记，只是原始文章）。我还有三组手动选择的与疾病相关的关键字，例如：phase-1、phase-2 等，如下所示。

phase_1 = ["symptoms","signs","fever","ache","vomit","blood","headache","fatigue","breath"]

phase_2 = ["pathogen","flavivirus","swamp","virus","contagious","mosquito bite","virus","agent","host"]

有没有办法使用 PYTHON 计算一组关键字和新闻文章之间的相似度？

Answer 1

您可以为此类任务定义各种相似度指标。然后你可以去看看哪一个效果最好。以下是一些想法：

1.) 正如 Max 在帖子中所指出的，您可以计算文档和两个列表中的每一个之间的 Jaccard 索引。 Jaccard 索引定义为交集除以两项的并集：

set1 = set(news_article.split())
set2 = set(phase_1)

jcc = len(set1.intersection(set2)) / len(set1.union(set2))

jaccard 索引越高，文本与列表越相似。但是，只有当您的新闻文章完全包含您在列表中定义的词时，Jaccard 索引才会起作用。包含语义相似但与列表中的不同的单词的文本的 jaccard 索引仍然为 0，即使其中包含相似的单词。

2.) 我还建议尝试基于 Word Mover 距离 (WMD) 的稍微更高级的方法。为此，您需要在某个向量空间中表示您的单词（例如，通过 word2vec 模型获得）。然后，您可以将一篇新闻文章和一个列表表示为该空间中的向量集合。该指标衡量两种表示的差异程度（您必须移动一种表示以匹配另一种表示）。距离越小，两种表示越相似。

您可能可以在您的新闻文章上训练您的 word2vec 模型。我建议使用 gensim 来训练模型，然后评估单词 mover 的距离。

https://radimrehurek.com/gensim/auto_examples/tutorials/run_wmd.html

它不能保证有效，但我会试一试。根据我的经验，WMD 通常比余弦距离效果更好，但这当然取决于应用程序。

这两种方法还取决于您事先进行的文本处理。在评估指标/训练 word2vec 模型之前，请确保您的新闻文章采用您期望的格式。

Answer 2

在命名列表时，我不建议使用破折号或其他顶部字符。我希望这会有所帮助：

phase_1 =  ["symptoms","signs","fever","ache","vomit","blood","headache","fatigue","breath"]

phase_2 = ["pathogen","flavivirus","swamp","virus","contagious","mosquito bite","virus","agent","host"]

# Performing the calculations
res = len(set(phase_1) & set(phase_2))
res2 = res / float(len(set(phase_1) | set(phase_2))) * 100

# Showing the results
msg = "The percentage of smilarity between the 2 lists is:"
print(msg, res2)