如何使用 word2vec 识别相似词

Question

输入：我有一组单词（N）&输入句子

问题陈述： 句子是动态的，用户可以给出与一个业务领域相关的任何句子。我们必须根据接近度将输入的句子标记映射到单词集。

例如，我们可以使用不同的词来问相同的意思问题，并且很难维护所有的同义词，因此我们有一个找到相似词的机制，我们可以轻松映射。

1) A meeting scheduled by john
2) A meeting organized by john

用户可以用不同的方式构筑一个句子，就像上面的例子。

计划和组织非常接近。

N 集有词，预定。如果用户给出类似 (2) 的句子，我必须将 organized 与 scheduled 进行映射。

Answer 1

看看“Word Mover 的距离”，这是一种计算文本之间差异的方法，它基本上基于“词向量袋”。计算成本可能很高，尤其是在较长的文本上，但通常比“所有词向量的平均值”这样的简单基线更好地识别“相似”的文本范围。

除此之外，一些对文本进行向量化的更深层次的神经网络方法（BERT、ELMo 等）可能会更有效地将这种“不同单词的相似意图”文本放置在共享文本中的接近位置坐标空间。