如何计算文本文档的相似度？

Question

我的 CSV 文件如下所示：

idx         messages
112  I have a car and it is blue
114  I have a bike and it is red
115  I don't have any car
117  I don't have any bike

我想要读取文件并执行相似度差异的代码。

我查看了很多关于此的帖子，例如1234，但要么我很难理解，要么不完全是我想要的。

基于一些帖子和网页说“一个简单而有效的方法是余弦相似度”或“通用句子编码器”或“Levenshtein 距离”。

如果你能提供我也可以在我身边运行的代码，那就太好了。谢谢

Answer 1

我不知道像这样的计算可以特别好地向量化，所以循环很简单。至少使用您的计算是对称的并且对角线始终为 100 的事实来减少您执行的计算次数。

import pandas as pd
import numpy as np
from fuzzywuzzy import fuzz

K = len(df)
similarity = np.empty((K,K), dtype=float)

for i, ac in enumerate(df['messages']):
    for j, bc in enumerate(df['messages']):
        if i > j:
            continue
        if i == j:
            sim = 100
        else:
            sim = fuzz.ratio(ac, bc) # Use whatever metric you want here
                                     # for comparison of 2 strings.

        similarity[i, j] = sim
        similarity[j, i] = sim

df_sim = pd.DataFrame(similarity, index=df.idx, columns=df.idx)

输出：df_sim

id     112    114    115    117
id                             
112  100.0   78.0   51.0   50.0
114   78.0  100.0   47.0   54.0
115   51.0   47.0  100.0   83.0
117   50.0   54.0   83.0  100.0