使用 python 进行正则表达式处理

Question

我正在尝试学习 python 并同时使用 NLTK 进行文本分析。

我在文本分析之前使用 python 来清理文本。

给定句子：The target IP was: 127.1.1.100.

我想将其标记为：

["The", "target", "IP", "was", ":","127.1.1.100","."]

保留所有标点符号以重建源文档很重要，但我需要将前导/尾随标点符号分开，以便我可以对单个单词进行文本分析。我编写了以下 python 代码，它运行良好，但看起来有点笨拙。

punct = ['.', ',', ':', ';', '!', '[', ']', '(', ')', '{', '}']
def split_punctuation(sentence)-> list:
    sentwords = sentence.split(" ")
    for i, word in enumerate(sentwords):
        if word_ends_with_punct(word) and len(word) > 1:
            sentwords.pop(i)
            sentwords.insert(i, word[:-1])
            sentwords.insert(i+1, word[-1])
            word = word[:-1]
        if word_starts_with_punct(word) and len(word) > 1:
            sentwords.pop(i)
            sentwords.insert(i, word[0:1])
            sentwords.insert(i+1, word[1:])
            word = word[1:]
    return sentwords

def word_starts_with_punct(w)-> bool:
    for p in punct:
        if w.startswith(p):
            return True
    return False

def word_ends_with_punct(w)->bool:
    for p in punct:
        if w.endswith(p):
            return True
    return False

所以看着 SO，我发现了一个可以满足我要求的正则表达式，有点…… RegEx by Wiktor Stribiżew

re.sub(r'[]!"$%&\'()*+,./:;=#@?[\\^_`{|}~-]+', r' \g<0> ', my_text).strip()

我能够弄清楚发生了什么，但在这种形式中，它分隔了所有标点符号，即使在单词中间也是如此。例如，它将今天的日期从： 6/28/2109 到 "6 / 28 / 2019"。

所以我修改为在开始/结束时使用锚标记，但似乎我必须运行它两次，一次用于开始标点符号，另一次用于结束。似乎效率很低，并希望有人可以展示正确的方法来完成此任务。下面的代码是正则表达式版本：

def sep_punct_by_regex(sent)->list :
    words = sent.split(" ")
    new_words = []
    for w in words:
        tmp1 = re.sub(r'^[]!"$/%&\'()*+,.:;=#@?[\\^_`{|}~-]+', r' \g<0> ', w).strip()
        tmp2 = re.sub(r'[]!"$/%&\'()*+,.:;=#@?[\\^_`{|}~-]+$', r' \g<0> ', tmp1).strip()
        t = tmp2.split(" ")
        for x in t:
            new_words.append(x)
    return new_words

注意 tmp1 中的 ^ 和 tmp2 中的 $ 这按原样工作，但目标是在构建时学习，那么我将如何修改 RegEx 以进行单次传递？我在前面尝试了明显的 (^)，最后尝试了 $，但它不起作用。

Answer 1

你可以使用

re.findall(r'\b(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])(?:\.(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])){3}\b|[^\W_]+|(?:[^\w\s]|_)+', s)

见regex demo

要删除字符串两端的标点符号并从空格中删除，请使用

re.sub(r'^[\W_]+|[\W_]+$', '', s).strip()

所以，它看起来像

s = re.sub(r'^[\W_]+|[\W_]+$', '', s).strip()
oct = r'(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])'
return re.findall(r'\b{0}(?:\.{0}){{3}}\b|[^\W_]+|(?:[^\w\s]|_)+'.format(oct), s)

详情

• \b(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])(?:\.(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])){3}\b - 一个IPv4 regex pattern
• | - 或
• [^\W_]+ - 一个或多个字母或数字
• | - 或
• (?:[^\w\s]|_)+ - 除了单词和空格字符或_之外的一个或多个字符。