python: nlp: 扩展英语缩略词，例如 don't that's 等答案

【问题标题】：python: nlp: expand english contractions like don't that's etcpython: nlp: 扩展英语缩略词，例如 don't that's 等
【发布时间】：2014-09-07 10:34:54
【问题描述】：

我正在尝试一些预处理，因此像不要等这样的词想要简单地不这样做，以便它的算法更好地工作。我检查了 nltk 没有找到方便的东西。我可以使用粗略的查找方法，但问题将是与专有名词（如 Jon's 等）一起使用的方法。请建议

前面的问题 Expanding English language contractions in Python

对于专有名词的用法没有很好的答案

【问题讨论】：

使用另一个问题中建议的“粗略”替换来替换那些存在的和专有名词 - Jon's car 尝试语法 - the car of Jon - 这应该不会太难做跨度>

标签： python nlp nltk text-analysis

【解决方案1】：

您可以为此使用可用的查找表：

http://en.wikipedia.org/wiki/Wikipedia:List_of_English_contractions

http://grammar.about.com/od/words/a/EnglishContractions.htm

【讨论】：

【解决方案2】：

我不得不在一个相关的 NLP 项目上解决这个问题，我决定解决这个问题，因为这里似乎没有任何东西。有兴趣的可以查看我的expander github repository。

它使用 POS 标记和命名实体识别 (NER) 来处理除了基本扩展之外的名词。还包括一个消歧函数来处理更难的模棱两可的情况，如 's 等。 NER 标记是这里必不可少的部分。它可以识别任何属于名称的名词，然后我将其替换为代词以分析语法上下文并在适当的情况下对其进行扩展。

在句子上运行需要很长时间，但这是我解决这个问题的方法，并且在代码中包含的测试用例上运行得相当好。

有关更多详细信息，请查看the other answer 上的旧问题或直接在 github 存储库上。

【讨论】：