缩写和标点符号的正则表达式模式

Question

我有一个段落，我想通过将标点符号与单词分开来标记它，并打印结果。有特殊情况（缩写如 U.S.A 和撇号如 Peter's 和十进制数字）应附在字母后，而不是分开。

我运行以下代码：

import re

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. 
Peter's house!  3,500 calorie rule, which equates a weight alteration 
of 2.2 lb"

pattern = r"""(?:[A-Z]\.)+ |\d+(?:\.\d+)?%?|\w/.+$\s-|\w+(?:[-']\w+)*|
(?:[+/\-@&*]|/.$/)"""

print (re.findall(pattern, text))

输出：

['My', 'weight', 'is', 'about', '68', 'kg', '+', '/', '-', '10', 
 'grams', 'I', 'live', 'in', 'U.S.A. ', 'at', 'Mr', "Peter's", 'house',
 '3', '500', 'calorie', 'rule', 'which', 'equates', 'a', 'weight',
 'alteration', 'of', '2.2', 'lb'
]

这段代码有一些错误，我真的需要帮助来修复它们：

1. 它会删除所有的标点符号！我想保留它们但与文字分开。

2. 该模式忽略包含 (,) 的数字并将其删除。我在模式中添加了\d+(?:\,\d+)?%?，但它不能正常工作。

3. 该模式也会忽略一些缩写，例如Mr.

非常感谢您的帮助！

Answer 1

我建议您避免尝试使用正则表达式来执行此操作，并使用专为该工作设计的工具。以下应处理U.S.A. 和Peter's：

from nltk.tokenize import WhitespaceTokenizer, word_tokenize

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. Peter's house!  3,500 calorie rule, which equates a weight alteration of 2.2 lb"

print WhitespaceTokenizer().tokenize(text)
print word_tokenize(text)

这将为您提供以下可能性：

['My', 'weight', 'is', 'about', '68', 'kg,', '+/-', '10', 'grams!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', "Peter's", 'house!', '3,500', 'calorie', 'rule,', 'which', 'equates', 'a', 'weight', 'alteration', 'of', '2.2', 'lb']
['My', 'weight', 'is', 'about', '68', 'kg', ',', '+/-', '10', 'grams', '!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', 'Peter', "'s", 'house', '!', '3,500', 'calorie', 'rule', ',', 'which', 'equates', 'a', 'weight', 'alteration', 'of', '2.2', 'lb']

Answer 2

如果您不打算使用成熟的自然语言处理工具，我建议您使用更简单的模式并计划一些解析后清理。尝试解决模式匹配中的所有问题是很棘手的，并且随着新语法元素的引入，可能会继续失败。也就是说，这是一种更简单的模式方法，我相信它可以处理您关心的大多数异常：

import re

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. Peter's house!  3,500 calorie rule, which equates a weight alteration of 2.2 lb"

pattern = r"(\s+|(?:[A-Z']\.?)+)"

tokens = [token for token in re.split(pattern, text, flags=re.I) if token and not token.isspace()]

print(tokens)

输出

['My', 'weight', 'is', 'about', '68', 'kg', ',', '+/-', '10', 'grams',
'!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', "Peter's", 'house', '!',
'3,500', 'calorie', 'rule', ',', 'which', 'equates', 'a', 'weight',
'alteration', 'of', '2.2', 'lb']

而不是re.findall()，我使用re.split() 和模式保留来隔离字符串中的标记（即我们按单词拆分。）当出现新的异常时，评估是否值得使模式复杂化或者它们是否可以处理前或后解析。