【问题标题】:Reading an improperly closed gz file with Python使用 Python 读取未正确关闭的 gz 文件
【发布时间】:2013-10-01 13:13:05
【问题描述】:

当我尝试使用 gzip 库通过 python 读取 gz 文件时,它会产生一个错误,就像您尝试在其上运行 gunzip 一样。但是,使用 perl 可以做到这一点,因为我不相信它使用的库会对正在读取的文件进行额外检查,以检查是否有干净的 EOF。

我的问题是是否有任何选项或替代库可以在 python 中读取此类文件,或者我只需要在 perl 中执行此操作?

【问题讨论】:

    标签: python gzip


    【解决方案1】:

    标准的 Python 库可以用于此,尽管比完整文件更笨拙。

    >>> import zlib
    >>> compressed=zlib.compress(str(range(200)))
    >>> len(compressed)
    375
    >>> trunc=compressed[:50]
    >>> zlib.decompress(trunc)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    zlib.error: Error -5 while decompressing data: incomplete or truncated stream
    >>> d=zlib.decompressobj()
    >>> d.decompress(trunc)
    '[0, 1, 2, 3, 4, 5, 6, 7, 8, 9'
    >>> d.flush()
    ''
    

    注意 decompressobj.flush() 请求最后一个数据,所以只有在你的输入流结束后调用它(或者在一个副本上 - 有一个 decompressobj.copy() 方法)。您可以根据需要使用尽可能多的 decompressobj.decompress() 调用来输入压缩数据。

    >>> d=zlib.decompressobj()
    >>> for i in range(0,140,10):
    ...   print repr(d.decompress(compressed[i:i+10]))
    ...
    ''
    ''
    ''
    '[0, 1, 2, 3, 4'
    ', 5, 6, 7, 8, 9'
    ', 10, 11, 12, 13, 14, 15, 16, '
    '17, 18, 19, 20, 21, 22, 23, '
    '24, 25, 26, 27, 28, 29, 3'
    '0, 31, 32, 33, 34, 35, 36, '
    '37, 38, 39, 40, 41, 42, 4'
    '3, 44, 45, 46, 47, 48, 49, '
    '50, 51, 52, 53, 54, 55, 5'
    '6, 57, 58, 59, 60, 61, 62, 6'
    '3, 64, 65, 66, 67, 68, 6'
    >>> d.flush()
    ''
    

    (我还没有看到 flush() 实际上返回任何东西,但这可能是因为这是一个如此简单的数据样本。)

    编辑:我错过了一分。 Gzip 文件具有 gzip 模块通常处理的标头,因此对 zlib 的原始访问不会直接读取 gzip 文件。使用 GzipFile 并以较小的块读取可能会更容易。

    【讨论】:

    • yann - 你误会了,我不是想弄清楚如何使用 zlib 压缩文件,而是如何读取尚未正确刷新/关闭的文件
    【解决方案2】:

    要解压内存中不完整的 gzip 压缩字节,answer by Yann Vernier 很有用,但它错过了我认为必要的 wbits 参数:

    incomplete_decompressed_content = zlib.decompressobj(wbits=zlib.MAX_WBITS | 16).decompress(incomplete_gzipped_content)
    

    请注意,zlib.MAX_WBITS | 16 是 15 | 16,即 31。有关wbits 的一些背景信息,请参阅zlib.decompress。


    贷方:answer by dnozay 指出了不同编码所需的 wbits 的不同值的下限。

    【讨论】:

      猜你喜欢
      • 2014-06-07
      • 1970-01-01
      • 1970-01-01
      • 2023-01-02
      • 2021-01-05
      • 1970-01-01
      • 1970-01-01
      • 2021-10-08
      • 1970-01-01
      相关资源
      最近更新 更多