Python，如何在整个文本文件中多次提取两个标记之间的文本？

Question

我无法从 txt 文件中提取部分文本。使用 python 3，我在整个文本文件中具有以下格式：

    integer stringOfFilePathandName.cpp string integer
    ...not needed text...
    ...not needed text...
    singleInteger( zero or one)
    ---------------------------------
    integer stringOfFilePathandName2.cpp string integer
    ...not needed text...
    ...not needed text...
    singleInteger( zero or one)
    ---------------------------------

每个模式出现的不需要的文本行数不稳定。 如果可能的话，我需要将 stringOfFilePathandName.cpp 和 singleInteger 值保存到字典中，例如 {stringOfFilePathandName:(0 或 1)}。

文本包含我不需要的其他文件扩展名（如 .cpp）。另外，我不知道文件的编码，所以我将其读取为二进制。

我的问题与以下链接中解决的问题有共同之处：

Python read through file until match, read until next pattern

https://sopython.com/canon/92/extract-text-from-a-file-between-two-markers/ - 我不太明白

python - Read file from and to specific lines of text- 这是我尝试复制的，但仅适用于一个实例。我需要在整个文件中迭代这个过程。

目前我已经尝试过这种方法，它只适用于一次：

fileRegex = re.compile(r".*\.cpp")

with open('txfile',"rb") as fin:
   filename = None
   for line in input_data:
       if re.search(fileRegex,str(line)):
           filename = ((re.search(fileRegex,str(line))).group()).lstrip("b'") 
           break
   for line in input_data:
       if (str(line).lstrip("b'").rstrip("\\n'"))=="0" or (str(line).lstrip("b'").rstrip("\\n'"))=="1":
        dictOfFiles[filename] = (str(line).lstrip("b'").rstrip("\\n'"))

   del filename

我的想法是需要一个类似的迭代文件的过程。到目前为止，我遵循的方法是逐行的。可能，最好将整个文本保存到一个变量然后提取。欢迎任何想法，这已经困扰了我很长一段时间......

每个请求这里是文本文件：https://raw.githubusercontent.com/CGCL-codes/VulDeePecker/master/CWE-119/CGD/cwe119_cgd.txt

Answer 1

你可以使用

fileRegex = re.compile(rb"^\d+\s+(\S+\.cpp)\s.*(?:\r?\n(?![01]\r?$).*)*\r?\n([10]+)\r?$", re.M)
dictOfFiles = []
with open(r'txfile','rb') as fin:
    dictOfFiles = [(k.decode('utf-8'), (int)(v.decode('utf-8'))) for k, v in fileRegex.findall(fin.read())]

然后，print(dictOfFiles) 返回

[('stringOfFilePathandName.cpp': 0), ('stringOfFilePathandName2.cpp': 1)....]

请参阅regex demo。

注意事项

• 您需要将所有文件读入内存才能使这个多行正则表达式工作，因此我使用fin.read()
• 当您以二进制模式读取文件时，不会删除 CR，因此我在每个 \n 之前添加了 \r?（可选 CR）
• 要将字节字符串转换为 Unicode 字符串，我们需要在结果上使用.decode('utf-8')。

正则表达式详细信息（以防您以后需要调整）：

• ^ - 行首（由于re.M，^ 匹配行首位置）
• \d+ - 1 位以上
• \s+ - 1+ 个空格
• (\S+\.cpp) - 第 1 组：1+ 非空白字符，然后是 .cpp
• \s - 一个空格
• .* - 除了换行符之外，0+ 字符尽可能多
• (?:\r?\n(?![01]\r?$).*)*
• \r?\n - CRLF 或 LF 换行符
• ([10]) - 第 2 组：1 或 0
• \r? - 一个可选的 CR
• $ - 行尾。

Answer 2

一种可能性是将re.findall 与可以处理多行的正则表达式模式一起使用：

input = """1 file1.cpp blah 3
           not needed
           not needed
           2
           ---------------------------------
           9 file1.cpp blah 5
           not needed
           not needed
           3
           ---------------------------------"""
matches = re.findall(r'(\w+\.cpp).*?(\d+)(?=\s+--------)', input, re.DOTALL)
print(matches)

打印出来：

[('file1.cpp', '2'), ('file1.cpp', '3')]

此答案假定您可以容忍将整个文件读入内存，然后使用re.findall 进行一次传递。如果您不能这样做，那么您将需要继续使用当前的解析方法。