如何对正则表达式中的某些单词进行例外处理

Question

我是编程和正则表达式的新手，如果以前有人问过这个问题，我深表歉意（不过我没有找到）。

我想使用 Python 来总结文字文本中的词频。让我们假设文本的格式类似于

Chapter 1
blah blah blah

Chapter 2
blah blah blah
....

现在我将文本读取为字符串，并且我想使用re.findall 来获取此文本中的每个单词，所以我的代码是

wordlist = re.findall(r'\b\w+\b', text)

但问题是它与每个章节标题中的所有这些Chapters 匹配，我不想将其包含在我的统计数据中。所以我想忽略匹配Chapter\s*\d+ 的内容。我该怎么办？

提前谢谢各位。

Answer 1

解决方案

您可以先删除所有Chapter+space+digits：

wordlist = re.findall(r'\b\w+\b', re.sub(r'Chapter\s*\d+\s*','',text))

如果您只想使用一次搜索，您可以使用否定前瞻来查找前面没有“Chapter X”且不以数字开头的任何单词：

wordlist = re.findall(r'\b(?!Chapter\s+\d+)[A-Za-z]\w*\b',text)

如果性能是一个问题，加载一个巨大的字符串并使用正则表达式解析它无论如何都不是正确的方法。只需逐行读取文件，丢弃任何与r'^Chapter\s*\d+' 匹配的行，然后用r'\b\w+\b' 分别解析剩余的每一行：

import re

lines=open("huge_file.txt", "r").readlines()

wordlist = []
chapter = re.compile(r'^Chapter\s*\d+')
words = re.compile(r'\b\w+\b')
for line in lines:
  if not chapter.match(line):
    wordlist.extend(words.findall(line))

print len(wordlist)

性能

我写了一个小的 ruby​​ 脚本来写一个大文件：

all_dicts = Dir["/usr/share/dict/*"].map{|dict|
  File.readlines(dict)
}.flatten

File.open('huge_file.txt','w+') do |txt|
  newline=true
  txt.puts "Chapter #{rand(1000)}"
  50_000_000.times do
    if rand<0.05
      txt.puts
      txt.puts
      txt.puts "Chapter #{rand(1000)}"
      newline = true
    end
    txt.write " " unless newline
    newline = false
    txt.write all_dicts.sample.chomp
    if rand<0.10
      txt.puts
      newline = true
    end
  end
end

生成的文件有超过 5000 万字，大小约为 483MB：

Chapter 154
schoolyard trashcan's holly's continuations

Chapter 814
assure sect's Trippe's bisexuality inexperience
Dumbledore's cafeteria's rubdown hamlet Xi'an guillotine tract concave afflicts amenity hurriedly whistled
Carranza
loudest cloudburst's

Chapter 142
spender's
vests
Ladoga

Chapter 896
petition's Vijayawada Lila faucets
addendum Monticello swiftness's plunder's outrage Lenny tractor figure astrakhan etiology's
coffeehouse erroneously Max platinum's catbird succumbed nonetheless Nissan Yankees solicitor turmeric's regenerate foulness firefight
spyglass
disembarkation athletics drumsticks Dewey's clematises tightness tepid kaleidoscope Sadducee Cheerios's

两步过程提取词表平均需要 12.2 秒，前瞻方法需要 13.5 秒，而 Wiktor 的回答也需要 13.5 秒。我最开始写的lookahead方法使用了re.IGNORECASE，耗时18s左右。

读取整个文件时，所有Regexen方法的性能基本没有差异。

但令我惊讶的是，readlines 脚本花费了大约 20.5 秒，并且使用的内存并没有比其他脚本少多少。如果您有任何想法如何改进脚本，请发表评论！

Answer 2

匹配您不需要的并捕获您需要的，并将此技术与仅返回捕获值的re.findall 一起使用：

re.findall(r'\bChapter\s*\d+\b|\b(\w+)\b',s)

详情：

• \bChapter\s*\d+\b - Chapter 是一个完整的单词，后跟 0+ 个空格和 1+ 个数字
• | - 或
• \b(\w+)\b - 将一个或多个单词字符匹配并捕获到第 1 组中

为避免在结果列表中出现空值，请对其进行过滤（请参阅demo）：

import re
s = "Chapter 1: Black brown fox 45"
print(filter(None, re.findall(r'\bChapter\s*\d+\b|\b(\w+)\b',s)))