寻找一种将专有名词映射到向量的方法答案

【问题标题】：Looking for a method to map Proper nouns into vectors寻找一种将专有名词映射到向量的方法
【发布时间】：2019-10-26 18:58:09
【问题描述】：

我正在寻找一种将专有名词表示为向量并纠正拼写错误的方法。

例如，我有一个专有名词数据库（例如 James、Rebecca、Michael 等），并希望将这些名称映射到向量中。

我还有一组这些名称拼写错误的条目（例如 Rebeca、Mikel 等），并且还希望将它们映射到向量中。

目标是使用拼写错误名称的向量与正确拼写名称的每个向量之间的相似性度量，并识别正确的名称。

我找不到任何处理此类问题的 NLP 方法。

谢谢！

【问题讨论】：

【解决方案1】：

所以目标是拼写纠正？你没有上下文，只有单词？我建议使用 kmer 距离。也就是说，对于合适的k值，每个词都由长度为k的子串集合表示。单词之间的距离是 sqrt(1-J)，其中 J 是这些集合的 Jaccard similarity。构建单词的最近邻树。那么建议的更正是拼写错误单词的最近邻。

您应该通过实验选择 k 的值，但 {3,4,5} 将是一个很好的起点。

有公式 sqrt(1-J) 的替代方案，但该公式的优点是它是 Jaccard 相似性引起的 RKHS 的自然度量。

【讨论】：