合并用于文本清理的三个正则表达式模式以提高效率

Question

给定一个文本，我想进行一些修改：

1. 替换句首的大写字符。
2. 删除’ 或' 等字符（不添加空格）
3. 删除不需要的字符，例如 ³ 或 ? , ! .（并替换为空格）

def multiple_replace(text):
    # first sub so words like can't will change to cant and not can t
    first_strip=re.sub("[’']",'',text) 
    def cap(match):
        return (match.group().lower())

    p = re.compile(r'((?<=[\.\?!]\s)(\w+)|(^\w+))')
    #second sub to change all words that begin a sentence to lowercase
    second_strip = p.sub(cap,first_strip) 
    # third_strip is to remove all . from text unless they are used in decimal numbers
    third_strip= re.sub(r'(?<!\d)\.|\.(?!\d)','',second_strip)
    # fourth strip to remove unexpected char that might be in text for example !,?³ and replace with whitespace
    forth_strip=re.sub('[^A-Za-z0-9@#_$&%]+',' ', third_strip)
    return forth_strip

我想知道是否有更有效的方法来做到这一点？因为我要检查文本 4 次，所以它可以采用正确的格式供我解析。这似乎很多，尤其是在有数百万个文档的情况下。有没有更有效的方法来做到这一点？

Answer 1

您可以使用交替来匹配字符串开头的大写字符 A-Z，或在 . ? 或 ! 后跟空格字符。

我认为您还可以将. 添加到否定字符类[^A-Za-z0-9@#_$&%.]+ 以不删除十进制值的点并更改操作顺序以在删除任何点之前先使用cap。

import re

def cap(match):
    return match.group().lower()


p = re.compile(r'(?<=[.?!]\s)[A-Z]|^[A-Z]', re.M)

text = "A test here. this `` (*)is. Test, but keep 1.2"
first_strip = p.sub(cap, text)
second_strip = re.sub(r"[`']+|(?<!\d)\.|\.(?!\d)", '', first_strip)
third_strip = re.sub('[^A-Za-z0-9@#_$&%.]+', ' ', second_strip)
print(third_strip)

输出

a test here this is test but keep 1.2

Python demo

---

您还可以使用包含所有 3 种模式和 2 个捕获组的 lambda，检查回调中的组值，但我认为这不会提高可读性或使其更容易更改或测试。

import re

p = re.compile(r"(?:((?<=[.?!]\s)[A-Z]|^[A-Z])|[`']+|((?<!\d)\.|\.(?!\d))|[^A-Za-z0-9@#_$&%.]+)", re.M)
text = "A test here. this `` (*)is. Test, but keep 1.2"
result = re.sub(p, lambda x: x.group(1).lower() if x.group(1) else ('' if x.group(2) else ' '), text)

print(result)

输出

a test here this is test but keep 1.2

Python demo