带有列表的高效正则表达式

Question

我有一个来自os.listdir() 的字符串列表，如下所示：

['foo',
 'bar'
 'backup_20180406'
 ...]

在这些条目中，我想获得与 "backup_YYYYMMDD" 模式匹配的条目。带有命名组的正则表达式将是

regex = r"BACKUP_(?P<date>\d+)"

我正在尝试创建一个包含上述 date only 的列表（又名.group('date')），但如果不解析字符串两次，我找不到方法。

res = [re.search(regex, x).group('date') for x in filter(r.match, os.listdir(folder))]

我确信我在这里遗漏了一些非常明显和简洁的东西，那么有没有更好的方法？

Answer 1

我通常这样做：

regex = re.compile(r"BACKUP_(?P<date>\d+)")
a = ['foo', "BACKUP_20180406", 'xxx']
matches = [regex.match(x) for x in a]
valid = [x.group('date') for x in matches if x]

或者只是

valid = [x.group('date') for x in (regex.match(y) for y in a) if x]

另请注意，regex.match 比 regex.search（在适用时）快得多 - 即当您从行首搜索时。

Answer 2

这是一个 Pandas 解决方案，使用 extract()：

import pandas as pd

strings = ['foo', 'bar', 'backup_20180406']
regex = r"backup_(?P<date>\d+)"

pd.Series(strings).str.extract(regex).dropna()

2    20180406
Name: date, dtype: object

Answer 3

如果您正在测试一个简单的模式，正则表达式很少是最有效的工具。 只需使用startswith，速度就会提高一倍。

from timeit import timeit
import re

size = 10000
data = ['foo','bar','backup_20180406'] * size

def find_dates(data):
    prefix = 'backup_'
    prefix_size = len(prefix)
    return [name[prefix_size:] for name in data if name.startswith(prefix)]

def find_dates_testing_numbers(data):
    prefix = 'backup_'
    prefix_size = len(prefix)
    for name in data:
        if name.startswith(prefix):
            try:
                yield int(name[prefix_size:])
            except ValueError:
                pass

def find_dates_regex(data):
    regex = re.compile(r"backup_(?P<date>\d+)")
    return [x.group('date') for x in (regex.match(y) for y in data) if x]

def find_dates_pd(data):
    import pandas as pd
    regex = r"backup_(?P<date>\d+)"
    return pd.Series(data).str.extract(regex).dropna()

result = find_dates(data)
print(timeit('find_dates(data)', globals=globals(), number=1000))
# 4.02514289499959 seconds

print(timeit('list(find_dates_testing_numbers(data))', globals=globals(), number=1000))
# 6.0529899510002 seconds

print(timeit('find_dates_regex(data)', globals=globals(), number=1000))
# 8.772153561999403 seconds

print(timeit('find_dates_pd(data)', globals=globals(), number=1000))
# 19.018224569999802