问题如下：
我有一个摘要，通常在 20 到 50 个字之间，我想将其与其他相对相似的摘要进行比较。摘要所指的一般类别和地理位置是已知的。
例如，如果来自同一地区的人们正在撰写关于建造房屋的文章，我希望能够列出这些摘要，并且在一定程度上确定他们实际上指的是建造房屋而不是建造车库或后院游泳池。
该数据集目前大约有 50 000 个文档，每天增长约 200 个文档。
首选语言是 Python、PHP、C/C++、Haskell 或 Erlang，无论哪种语言都能完成工作。另外，如果您不介意，我想了解选择特定语言的原因。
【问题讨论】：
标签： pattern-matching neural-network similarity fuzzy
你可以看看WEBSOM project。
尽管他们的网站今年没有完全更新，但正在解决的问题非常相似。就像 10 年前一样，他们处理的数据量与您（甚至更多）相似，今天您几乎可以在手机上运行这些算法。
【讨论】：
实际上没有特定的语言可供选择。您正在尝试查找语义相似性。这是一个非常大的区域。您可能对这篇论文感兴趣：
Corpus-based and Knowledge-based Measures of Text Semantic Similarity
【讨论】：
您可以尝试使用一些字符串相似度度量，例如 Jaccard 和 Dice，但不是计算字符重叠，而是计算单词重叠。例如，使用 Python，您可以使用以下内容：
def word_overlap(a, b):
return [x for x in a if x in b]
def jaccard(a, b, overlap_fn=word_overlap):
"""
Jaccard coefficient (/\ represents intersection), given by :
Jaccard(A, B) = (A /\ B) / (|a|) + (|b|) - (A /\ B)
"""
c = overlap_fn(a, b)
return float(len(c)) / (len(a) + len(b) - len(c))
jaccard("Selling a beautiful house in California".split(), "Buying a beautiful crip in California".split())
【讨论】：
由于python中对集合有很好的原生支持，我们可以将JGs code修改为，
def jaccard(a, b):
"""
Jaccard coefficient (/\ represents intersection), given by :
Jaccard(A, B) = (A /\ B) / (|a|) + (|b|) - (A /\ B)
"""
c = a.intersection(b)
return float(len(c)) / (len(a) + len(b) - len(c))
jaccard(set("Selling a beautiful house in California"), set("Buying a beautiful crip in California"))
【讨论】：