文本相似度算法

Question

我正在做一个 Java 项目，我必须在其中制作一个文本相似性程序。我希望它获取 2 个文本文档，然后将它们相互比较并获得相似度。它们之间有多么相似。

我稍后会放置一个已经存在的数据库，该数据库可以找到单词的同义词并查看文本以查看文本文档作者是否只是将单词更改为其他同义词而文本完全相同.向上或向下移动 paragrafs 也是如此。 是的，因为它是一个抄袭程序......

我想听听你们会推荐什么样的算法。

通过查看这里和其他地方，我发现了 Levenstein 和 Cosine 的相似性。他们两个似乎都被提及很多。汉明距离是我老师告诉我的另一个距离。

我有一些与这些相关的问题，因为我并没有真正了解维基百科。有人可以向我解释这些事情吗？

Levenstein：这个算法由sub改变，添加和删除单词，看看它与文本文档中的另一个单词有多接近。但是如何在整个文本文件中使用它呢？我可以看到它如何用于一个单词，但不能用于一个句子或从一个到另一个的整个文本文档。

余弦：通过测量两个向量之间夹角的余弦来衡量两个向量之间的相似性。我在这里不明白两个文本如何成为 2 个向量以及其中的单词/句子呢？

Hamming：这个距离似乎比 Levenstein 更好，但它只是在相等的弦上。当 2 个文档甚至其中的句子不是两个长度相等的字符串时，为什么它很重要？

维基百科应该有意义，但事实并非如此。如果这些问题听起来太愚蠢，我很抱歉，但它让我感到沮丧，我认为这里有人非常有能力解释它，所以即使是这个领域的新手也能理解。

感谢您的宝贵时间。

Answer 1

Levenstein：理论上你可以将它用于整个文本文件，但它确实不太适合这项任务。它确实适用于单个单词或（最多）一个短语。

余弦：首先计算每个文档中的唯一单词。完成后，previous question 的答案将涵盖计算。

我从来没有为此目的使用过汉明距离，所以我不能说太多。

我会将 TFIDF（词频 * 倒排文档频率）添加到列表中。它与余弦距离非常相似，但 1) 往往在较短的文档上做得更好，并且 2) 在考虑整个语料库中哪些词非常常见而不仅仅是那些恰好常见的词方面做得更好到两个特定的文档。

最后一点：任何要产生有用的结果，您几乎需要在尝试计算相似度之前筛选掉停用词（尽管 TFIDF 似乎比其他人做得更好如果你跳过这个）。至少根据我的经验，词干（删除后缀）也非常有帮助。完成后，我使用了 Porter 的词干算法。

出于您的目的，您可能想要使用我称之为倒置词库的东西，它可以让您查找一个词，并为每个词替换一个规范词来表示该含义。我在一个项目上试过这个，并没有发现它像预期的那样有用，但听起来对你的项目来说它可能会更有用。

Answer 2

考虑一下 wikipedia 上关于 Levenshtein 距离的示例：

For example, the Levenshtein distance between "kitten" and "sitting" is 3, since the following three edits change one into the other, and there is no way to do it with fewer than three edits:

   1. kitten → sitten (substitution of 's' for 'k')
   2. sitten → sittin (substitution of 'i' for 'e')
   3. sittin → sitting (insertion of 'g' at the end).

现在，将“kitten”替换为“第一篇论文中的文字”，将“sitting”替换为“第二篇论文中的文字”。

Paper[] papers = getPapers();
for(int i = 0; i < papers.length - 1; i++) {
    for(int j = i + 1; j < papers.length; j++) {
        Paper first = papers[i];
        Paper second = papers[j];
        int dist = compareSimilarities(first.text,second.text);
        System.out.println(first.name + "'s paper compares to " + second.name + "'s paper with a similarity score of " + dist);
    }
}

比较这些结果并确定距离得分最低的孩子。

在您的compareSimilarities 方法中，您可以使用任何或所有比较算法。您可以在公式中加入的另一个是“最长公共子字符串”（这是发现抄袭的好方法。）

Answer 3

信息检索中比较两个文档相似度的基本思想是提取一些指纹，并根据指纹判断它们是否共享一些信息。

只是一些提示，Winnowing: Local Algorithms for Document Fingerprinting 可能是您解决问题的一个选择和一个很好的起点。