如何检测具有一定模糊性的重复文本答案

【问题标题】：How to detect duplicate text with some fuzzyness如何检测具有一定模糊性的重复文本
【发布时间】：2010-09-19 01:03:56
【问题描述】：

以前，我写了small script 使用Text::DeDupe 删除重复的博客文章，然后我必须看到它们。

在阅读了实现所基于的 Syntactic Clustering of the Web 论文后，我希望能够找到重叠的文档（例如，博客的 sn-ps 而非全文，也可能是引号）。

您知道在编写自己的 C、C++ 或 perl 之前我可以尝试的任何其他实现吗？

【问题讨论】：

我认为你必须使用经典的基于行的差分算法：stackoverflow.com/questions/236031/…stackoverflow.com/questions/145607/text-difference-algorithm stackoverflow.com/questions/3144/best-diff-algorithm
这对于手头的任务可能过于简单，因为我想删除几乎重复的内容，例如引用大部分帖子的人并添加诸如“我也是”之类的内容，这只是垃圾邮件。

【解决方案1】：

SpotSigs 似乎正好符合我的要求，这里有一些参考资料：

此模块的源代码托管在 GitHub 上：

【讨论】：

Jeremy Z. github 链接不是源链接。如果您查看该存储库，它是空的。 SpotSigs 的来源可以在这里找到：mpi-inf.mpg.de/~mtb
Nate提到的页面已经移动，这是新的URL：adrem.ua.ac.be/~tmartin