有效的正则表达式删除python中的停用词

Question

我正在使用以下正则表达式从文本中删除停用词

  pattern = re.compile(r'\b(' + r'|'.join(stopwords.words('english')) + r')\b\s*')

但它也去掉了空格。因此，在删除停用词后，我得到了一个在剩余单词之间没有空格的句子。我该如何克服它？

Answer 1

不确定这是否是您的意思，但删除末尾的 \s* 将停止匹配空格。你的 \b 仍然会寻找单词边界，所以也许这就是你所需要的？

pattern = re.compile(r'\b(' + r'|'.join(stopwords.words('english')) + r')\b')

...但是你会有两个或多个空格在一起的句子。也许你想要：

pattern = re.compile(r'\b(' + r'|'.join(stopwords.words('english')) + r')\b\s?')

另外，请注意其他评论者的警告：如果您的停用词列表中有空字符串或空格字符串，可能会给您带来麻烦。