文档功能的相似性答案

【问题标题】：Similarity of documents function文档功能的相似性
【发布时间】：2020-09-07 14:30:02
【问题描述】：

我正在尝试为文档的余弦和欧几里德距离创建矩阵。不太确定我将如何处理这个问题。任何意见，将不胜感激。谢谢。

该函数将 termdoc 矩阵作为输入并计算称为“euclidean_distance_matrix”的变量和“cosine_distance_matrix”，它们是元素 (i,j) 存储欧里德距离的矩阵以及第 i 个和第 i 个推文之间的余弦距离。您应该将距离矩阵存储在 numpy 数组中，以便在后续任务中更轻松地实现

下面是启动我的代码。

def compute_distance_matrices(termdoc):

【问题讨论】：

标签： python function similarity euclidean-distance cosine-similarity

【解决方案1】：

您可以将此问题视为概率问题。你必须：

为每个文档构造频率向量
计算文档之间的余弦或欧几里得距离

频率向量

您必须为文档中的每个单词计算 TF-IDF 参数，并将所有单词组织在一个向量中。简单来说，TF就是词频，IDF用来平衡高频词。 TF-IDF 表示词在语料库中的重要性。

此链接可能有用：https://en.wikipedia.org/wiki/Tf%E2%80%93idf

余弦距离

应用公式并判断结果：较低的值 = 相似的文档

此链接可能有用：https://en.wikipedia.org/wiki/Cosine_similarity

【讨论】：