在 python 中解析带有文本（带有偏移信息）和二进制数据的文件

Question

我有一个xml文件，其中包含一组文本元素标签（每个标签包含相应二进制元素的十进制偏移值和数据长度）以及末尾所有元素的整个二进制数据。一个例子如下。

<?xml version="1.0" encoding="UTF-8"?>
<Package>
  <element>
        <offset>0</offset>
        <length>2961181</length>
        <checksum>4238515972</checksum>
        <format>gzip</format>
  </element>
  <element>
        <offset>2961181</offset>
        <length>5442</length>
        <checksum>4238515972</checksum>
        <format>bin</format>
  </element>
</Package>
BINARY_DATA

请注意，偏移量是十进制的，从标头之后的第一个字节开始计算。 如何在python中解析这个文件，根据偏移量抓取对应的元素，解压缩（如果它的格式是gzip）并将其存储为文件？

嗯，根据 OmnipotentEntity 和 Jakob_B 的回复，我制作了以下简短的脚本，看看它是否适用于第一个元素：

import zlib

f = open("file.xml", "r")
text = f.read()
position = text.find("</Package>\n")
headerSize=position+ len("</Package>\n") + 1 
offset=0
f.seek(headerSize + offset) 
length = 2961181
bin_data = f.read(length)
zipped=1
if (zipped):
  ungziped_str = zlib.decompressobj().decompress('x\x9c' + bin_data)
  print(ungziped_str)
f.close()

但是，我收到以下错误：

Traceback（最近一次调用最后一次）： 文件“file_parse.py”，第 11 行，在？ ungziped_str = zlib.decompressobj().decompress('x\x9c' + bin_data) zlib.error: 解压时出错 -3: 无效的块类型

有什么问题？输入文件不正确，还是代码不正确？

Answer 1

诀窍是阻止 XML 解析器处理二进制数据。 lxml 允许您一次将一行输入到解析器，因此您可以观察最后一个 XML 标记并停在那里：

from lxml import etree

def process(filename):
    f = file(filename,"r")
    parser = etree.XMLParser()
    for l in f:
        parser.feed(l)
        if l=="</Package>\n":
            break
    return parser.close()

返回一个

r=process("junk.xml")
<Element Package at 9f14eb4>

这是一个 lxml 对象，您可以从中获取数据。第二个对象的偏移量在这里：

>>> r[1][0].text
'2961181'

等等。这应该足以让您制定可行的解决方案。但请注意以 Package 标签结尾的行，可能有更好的方法来做到这一点，如果文件有不同的行结尾，这可能不起作用。

Answer 2

为什么不使用 lxml 搜索结束标记？然后，当找到结束标记时，只需 .seek() 到该点并读取二进制数据。

Answer 3

确定标题大小。

使用 xml 魔法获取偏移量和数据长度

import zlib
python.seek(headerSize+offset)
mydata = python.read(length)
if (zipped):
  ungziped_str = zlib.decompressobj().decompress('x\x9c' + mydata)

然后正常写入文件。

gunzip 魔法来源http://codingrecipes.com/ungzip-a-string-in-python-gzinflate-in-python