检测重复/非常相似的文本段落

Question

我正在编写一个应用程序，允许用户将引号添加到数据库中，可以通过 Lucene 进行搜索。是使用 TF-IDF 和余弦相似度来确定引用是否与另一个引用非常相似，还是使用 Damerau-Levenshtein 距离更好？

例如

两条路在树林中分道扬镳，我选择了少有人走的那条，这一切都不同了。

对

树林中有两条路分叉，我选择了少有人走的那条，结果完全不同。

Answer 1

#我觉得你真的不能回答这个问题...

...但您可以尝试类似地构造它们：

可能的方法：

• 使两个输入都小写！
• 检查其中一个是否包含另一个，反之亦然
• 删除不是真正需要的字符。 （“-”或“;”）
• 您也可以尝试找到一种方法来切换单词直到匹配，但我不会这样做

我发现了这个：

https://en.wikibooks.org/wiki/Algorithm_Implementation/Strings/Levenshtein_distance