在散装文章中查找抄袭[关闭]

Question

我有 20,000 篇大师文章集，每天我会收到大约 400,000 篇一两页的文章。现在，我正在尝试查看这 40 万篇文章中的每一篇是否都是我的大师文章集的副本或修改版本（抄袭率超过 60% 的阈值对我来说是可以的） 我应该使用哪些算法和技术以非常有效和及时的方式解决问题。 谢谢

Answer 1

对文章进行指纹识别（即根据词频对文章进行智能哈希），然后寻找指纹之间的统计联系。然后，如果对某些数据集有预感，请对这些数据集进行暴力搜索以查找匹配的字符串。