从语料库中提取相似词

Question

我想从语料库中提取相似的词。相似度基于字符串。即，当两个词的串高度相似时，将两个词提取为相似词。例如，如果语料库包含：Aras、bahro、arasis、adkpo、bah、aras sd、kio。

相似词：

1- aras，arasis，aras sd

2- 呸，呸

如何解决这个问题？ 谢谢。

Answer 1

Levenshtein distance 是衡量两个单词序列之间差异的度量，也许您可​​以取一个单词序列并计算距离以知道它们是否相似。