Python 的正则表达式模式缓存如何工作？

Question

来自re.compile() 的 Python 文档：

注意传递给的最新模式的编译版本 re.match()、re.search() 或 re.compile() 被缓存，所以程序 一次只使用几个正则表达式 不用担心 编译正则表达式。

但是，在我的测试中，这个断言似乎站不住脚。当重复使用相同模式的以下 sn-ps 计时时，编译后的版本仍然比未编译的版本快得多（应该被缓存）。

我在这里遗漏了什么来解释时差吗？

import timeit

setup = """
import re
pattern = "p.a.t.t.e.r.n"
target = "p1a2t3t4e5r6n"
r = re.compile(pattern)
"""

print "compiled:", \
    min(timeit.Timer("r.search(target)", setup).repeat(3, 5000000))
print "uncompiled:", \
    min(timeit.Timer("re.search(pattern, target)", setup).repeat(3, 5000000))

结果：

compiled: 2.26673030059
uncompiled: 6.15612802627

Answer 1

这是re.search 的（CPython）实现：

def search(pattern, string, flags=0):
    """Scan through string looking for a match to the pattern, returning
    a match object, or None if no match was found."""
    return _compile(pattern, flags).search(string)

这里是re.compile:

def compile(pattern, flags=0):
    "Compile a regular expression pattern, returning a pattern object."
    return _compile(pattern, flags)

依赖于re._compile:

def _compile(*key):
    # internal: compile pattern
    cachekey = (type(key[0]),) + key
    p = _cache.get(cachekey)            #_cache is a dict.   
    if p is not None:
        return p
    pattern, flags = key
    if isinstance(pattern, _pattern_type):
        if flags:
            raise ValueError('Cannot process flags argument with a compiled pattern')
        return pattern 
    if not sre_compile.isstring(pattern):
        raise TypeError, "first argument must be string or compiled pattern"
    try:
        p = sre_compile.compile(pattern, flags)
    except error, v:
        raise error, v # invalid expression
    if len(_cache) >= _MAXCACHE:
        _cache.clear()
    _cache[cachekey] = p
    return p

所以你可以看到，只要正则表达式已经在字典中，唯一涉及的额外工作就是在字典中查找（这涉及创建一些临时元组，一些额外的函数调用......）。

更新 在过去的好日子（上面复制的代码），缓存过大时会完全失效。这些天来，缓存循环——首先丢弃最旧的项目。此实现依赖于 python 字典的顺序（这是在 python3.7 之前的实现细节）。在 python3.6 之前的 Cpython 中，这会从缓存中删除一个任意值（可以说这仍然比使整个缓存无效）