python中的句子含义相似性

Question

我想计算句子含义相似度。我正在使用余弦相似度，但这种方法不能满足我的需求。

例如，如果我有这两个句子。

1. 他和他的父亲关系很好。
2. 他与父亲有着深厚的感情。

我需要的是根据意思相似度计算这些句子之间的相似度，而不仅仅是匹配相似的单词

有没有办法做到这一点？

Answer 1

一种方法是使用预训练的词向量（“嵌入”）来表示每个词。这些是具有几百维的向量，其中具有相似含义的单词（例如，“close”、“bond”）应该具有相似的向量。关键思想是词嵌入可以表示两个句子即使使用不同的词也具有相似的含义。

• 这可以在 python 中的 Spacy 等包中快速完成。见https://spacy.io/usage/vectors-similarity
• 常见的预训练向量包括 Google 新闻词嵌入 (https://github.com/mmihaltz/word2vec-GoogleNews-vectors) 和 GLOVE 嵌入 (https://nlp.stanford.edu/projects/glove/)。

这是一个简单的方法：通过其预训练嵌入和整个句子中的平均单词来表示每个单词。现在使用任何合理的距离度量来比较向量（余弦是标准的）。