自动完成算法的新特性

Question

我在一次采访中遇到了这个问题。实现一个基本的自动完成系统（https://www.futurice.com/blog/data-structures-for-fast-autocomplete/）很容易从前缀字符串中获取字符串列表。现在我们要添加一些新功能。

例如， 用户输入：lun pla 输出：午餐计划（多词自动完成）

用户输入：pla 输出：午餐计划

用户输入：unc 输出：lunch（自动完成单词的一部分）

如何实现这些功能？

Answer 1

您可以尝试以下（基本）方法，我稍后会给出扩展建议：

• 加载接受词的字典
• 使用Levenshtein-Damerau distance 作为基础指标，根据这些词构建BK-Tree
• 在空白字符上拆分输入序列以获取单词
• 对于每个单词，检查它是否是一个接受的单词。如果在 BK-tree 中没有找到最近的（在可接受的距离内）单词

现在进行改进：

• 正如您所指出的，有时将两个单词组合在一起时匹配会更有意义
• 为此使用 Google word2Phrase 算法。您可以找到 C++ 版本here。
• 使用更聪明的方法来查找单词边界。像 HMM（隐马尔可夫模型）这样的随机方法可能很有用（避免日期、时间、缩写等被拆分）
• 使用更智能的错误度量。您可以考虑常见的拼写错误、键盘布局错误（习惯于输入 qwerty 的人突然遇到 azerty 时会出现非常具体的错误）等
• 尝试确定单词part-of-speech type。 （形容词、名词、动词等）。通过这样做，您可以做出更好的完成。