正则表达式从字符串中拆分标点符号

Question

我想使用带有正则表达式（re.sub() 或 re.findall()）的空格来拆分 Python 字符串中的标点符号。所以"I like dog, and I like cat."应该变成"I like dog , and I like cat . "

我有一串标点符号 (python string.punctuation = "!"#$%&'()*+,-./:;<=>?@[\]^_{|}~") 我想替换，但我也有一个我不想替换的特定缩写列表（比如 list1 = ["e.g." , "Miss."]。我不想替换多个标点符号（任何两个相邻的标点符号，例如 ... 或 ,"）或任何撇号，例如 I'm, you're, he's, we're。

假设我有list1 = ["e.g." , "Miss."] 和string.punctuation = "!"#$%&'()*+,-./:;<=>?@[\]^_{|}~"。给定一个字符串"I'm a cat, you're a dog, e.g. a cat... really?, non-dog!!"，它应该变成"I'm a cat , you're a dog , e.g. a cat ... really ?, non-dog !! "

除了我的特定缩写和多个标点符号和撇号列表之外，是否有正则表达式可以从字符串中拆分标点符号？

Answer 1

一般算法是从头到尾处理输入字符串，扫描下一个“单词”是否在例外列表中（如果是，则跳过它）或者是标点符号（如果是，则在周围添加空格）。

这导致了以下函数：

def preprocess(string, punctuation, exceptions):
    result = ''
    i = 0
    while i < len(string):
        foundException = False
        if i == 0 or not(string[i-1].isalpha()):
            for e in exceptions:
                if string[i:].lower().startswith(e.lower()) and (i+len(e) == len(string) or not(string[i+len(e)].isalpha())):
                    result += string[i:i+len(e)]
                    i += len(e)
                    foundException = True
                    break
        if not(foundException):
            if string[i] in punctuation:
                result += ' '
                while i < len(string) and string[i] in punctuation:
                    result += string[i]
                    i += 1
                result += ' '
            else:
                result += string[i]
                i += 1

    return result.replace('  ', ' ')

在测试框架中运行时

examples = """
I like dog, and I like cat.
I'm a cat, you're a dog, e.g. a cat... really?, non-dog!!
"""

for line in examples.split('\n'):
    result = preprocess (line, "!\"#$%&'()*+,\\-./:;<=>?@[\]^_{|}~", ["I'm", "you're", "e.g.", "he's", "we're", "Miss."])
    print (result)

你得到第一句话的预期结果

I like dog , and I like cat .

但第二句话分裂了non-dog：

I'm a cat , you're a dog , e.g. a cat ... really ?, non - dog !! 

这表明您的规范不准确（除非 non-dog 出现在例外列表中；然后它的行为符合预期）。

Answer 2

我会使用像[\.\,\:\;\?\(\)] 这样的正则表达式模式来查找字符串中所有标点符号的匹配列表。然后循环每个匹配项，将其替换为自身并附加一个空格。

例子：

data = "this is, the data."

myre = re.compile(r"[\.\,\:\;\?\(\)]")
matches = myre.findall(data)

for (var i = 0; i < matches.length; i++) {

    data.replace(matches[i], " "+matches[i])

}