匹配一些特殊字符前后的单词列表

Question

我正在尝试编写一个匹配很长的单词列表（4000 个单词）的正则表达式，如果单词位于字符串的开头或字符串的结尾，或者前后都有一个特殊字符，当前我正在使用的正则表达式是这样的：

((?:[^a-zA-Z0-9]|^)FIND(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)ANY(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)MATCHING(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)WORD(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)BY(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)THIS(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)VERY(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)LONG(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)REGEX(?:[^a-zA-Z0-9]|$))|((?:[^a-zA-Z0-9]|^)PATTERN(?:[^a-zA-Z0-9]|$))

这个正则表达式持续了大约 4000 个单词，我使用 python re 模块 / ripgrep 检查一些字符串是否匹配，我想知道每个字符串的匹配词。

我使用非捕获组，因为我真的不介意单词之前或之后的内容，只有单词匹配自己。

但是，对于我测试过的一些通用字符串，在树莓派上每次迭代大约需要 3-4 秒，我想知道我是否可以以某种方式为这种用法生成更快的模式。

谢谢。

Answer 1

首先，(?:[^a-zA-Z0-9]|^) 和 (?:[^a-zA-Z0-9]|$) 模式在这里用作单词边界，不包括 _。精简它们并分别使用(?<![^\W_]) 和(?![^\W_]) 是有意义的。

接下来，可以对您拥有的单词进行处理，以从中创建一个正则表达式，以进行高效搜索。

这是一个示例代码：

from trieregex import TrieRegEx
keywords = ['FIND', 'ANY', 'MATCHING', 'WORD', 'BY', 'THIS', 'VERY', 'LONG', 'REGEX', 'PATTERN', 'PARROT', 'FIGHT']
pattern = fr'(?<![^\W_])({TrieRegEx(*keywords).regex()})(?![^\W_])'
# => (?<![^\W_])((?:PA(?:TTERN|RROT)|FI(?:GHT|ND)|MATCHING|REGEX|LONG|THIS|VERY|WORD|ANY|BY))(?![^\W_])

只要确保你事先安装了trieregex。

请参阅resulting regex pattern。

另请参阅基于this regex trie solution 的another demo：

import re

class Trie():
    """Regex::Trie in Python. Creates a Trie out of a list of words. The trie can be exported to a Regex pattern.
    The corresponding Regex should match much faster than a simple Regex union."""

    def __init__(self):
        self.data = {}

    def add(self, word):
        ref = self.data
        for char in word:
            ref[char] = char in ref and ref[char] or {}
            ref = ref[char]
        ref[''] = 1

    def dump(self):
        return self.data

    def quote(self, char):
        return re.escape(char)

    def _pattern(self, pData):
        data = pData
        if "" in data and len(data.keys()) == 1:
            return None

        alt = []
        cc = []
        q = 0
        for char in sorted(data.keys()):
            if isinstance(data[char], dict):
                try:
                    recurse = self._pattern(data[char])
                    alt.append(self.quote(char) + recurse)
                except:
                    cc.append(self.quote(char))
            else:
                q = 1
        cconly = not len(alt) > 0

        if len(cc) > 0:
            if len(cc) == 1:
                alt.append(cc[0])
            else:
                alt.append('[' + ''.join(cc) + ']')

        if len(alt) == 1:
            result = alt[0]
        else:
            result = "(?:" + "|".join(alt) + ")"

        if q:
            if cconly:
                result += "?"
            else:
                result = "(?:%s)?" % result
        return result

    def pattern(self):
        return self._pattern(self.dump())


text = r'FIND ANY MATCHING WORD BY THIS VERY LONG REGEX PATTERN FIGHT FIGHTER PARROT PARROT_ING'
keywords = ['FIND', 'ANY', 'MATCHING', 'WORD', 'BY', 'THIS', 'VERY', 'LONG', 'REGEX', 'PATTERN', 'PARROT', 'FIGHT']
trie = Trie()
for word in keywords:
    trie.add(word)
pattern = fr'(?<![^\W_])({trie.pattern()})(?![^\W_])'
print(re.findall(pattern, text))

输出：

['FIND', 'ANY', 'MATCHING', 'WORD', 'BY', 'THIS', 'VERY', 'LONG', 'REGEX', 'PATTERN', 'FIGHT', 'PARROT', 'PARROT']

注意PARROT的两次出现，最后一次来自PARROT_ING字符串部分。