Python：跨文件块边界的正则表达式匹配

Question

巨大的纯文本数据文件

我使用 python 分块读取了一个巨大的文件。然后我对该块应用正则表达式。基于标识符标签，我想提取相应的值。由于块大小，块边界处缺少数据。

要求：

• 文件必须分块读取。
• 块大小必须小于 或等于 1 GiB。

Python 代码示例

identifier_pattern = re.compile(r'Identifier: (.*?)\n')
with open('huge_file', 'r') as f:
    data_chunk = f.read(1024*1024*1024)
    m = re.findall(identifier_pattern, data_chunk)

块数据示例

好：标签数等于值数

标识符：值
标识符：值
标识符：值
标识符：值

由于块大小，您会遇到如下所列的不同边界问题。第三个标识符返回一个不完整的值，“v”而不是“value”。下一个块包含“alue”。这会导致解析后数据丢失。

错误：标识符值不完整

标识符：值
标识符：值
标识符：v

你如何解决这样的块边界问题？

Answer 1

假设这是您的确切问题，您可能只需调整您的正则表达式并逐行读取（这不会将完整文件加载到内存中）：

import re
matches = []
identifier_pattern = re.compile(r'Identifier: (.*?)$')
with open('huge_file') as f:
    for line in f:
        matches += re.findall(identifier_pattern, line)

print("matches", matches)

Answer 2

您可以控制块形成并使其接近 1024 * 1024 * 1024，这样可以避免丢失部分：

import re


identifier_pattern = re.compile(r'Identifier: (.*?)\n')
counter = 1024 * 1024 * 1024
data_chunk = ''
with open('huge_file', 'r') as f:
    for line in f:
        data_chunk = '{}{}'.format(data_chunk, line)
        if len(data_chunk) > counter:
            m = re.findall(identifier_pattern, data_chunk)
            print m.group()
            data_chunk = ''
    # Analyse last chunk of data
    m = re.findall(identifier_pattern, data_chunk)
    print m.group()

或者，您可以使用不同的起点 read 对同一文件进行两次（第一次从：0，第二次从第一次迭代期间收集的匹配字符串的最大长度开始），将结果存储为字典，其中 @987654323 @，每次迭代的位置都是相同的，所以合并结果应该不是问题，但是我认为按开始位置和匹配字符串的长度进行合并会更准确。

祝你好运！

Answer 3

如果文件是基于行的，file 对象是行的惰性生成器，它将文件逐行加载到内存中（分块），基于此，您可以使用：

import re
matches = []
for line in open('huge_file'):
    matches += re.findall("Identifier:\s(.*?)$", line)

Answer 4

我有一个与杰克的回答非常相似的解决方案：

#!/usr/bin/env python3

import re

identifier_pattern = re.compile(r'Identifier: (.*)$')

m = []
with open('huge_file', 'r') as f:
    for line in f:
        m.extend(identifier_pattern.findall(line))

您可以使用正则表达式 API 的另一部分来获得相同的结果：

#!/usr/bin/env python3

import re

identifier_pattern = re.compile(r'Identifier: (.*)$')

m = []
with open('huge_file', 'r') as f:
    for line in f:
        pattern_found = identifier_pattern.search(line)
        if pattern_found:
            value_found = pattern_found.group(0)
            m.append(value_found)

我们可以使用generator expression 和list comprehension 进行简化

#!/usr/bin/env python3

import re

identifier_pattern = re.compile(r'Identifier: (.*)$')

with open('huge_file', 'r') as f:
    patterns_found = (identifier.search(line) for line in f)
    m = [pattern_found.group(0) 
         for pattern_found in patterns_found if pattern_found]

Answer 5

如果知道匹配结果字符串的长度，我认为最简单的方法是在边界附近缓存最后一个块的字节。

假设结果长度为3，保留最后一个chunk的最后2个字符，然后添加到新的chunk中进行匹配。

伪代码：

regex  pattern
string boundary
int    match_result_len

for chunk in chunks:
    match(boundary + chunk, pattern)
    boundary = chunk[-(match_result_len - 1):]