在 Python 中从内存中解压缩流 BZ2

Question

我在内存中有一块 CSV 数据 bz2 压缩数据

compressed = load_from_network_service(...)

我想遍历解压缩的行流。

for line in bz2_decompress_stream(compressed):
    ...

有这样的功能吗？

原则上我可以写入磁盘然后使用bz2.BZ2File 读入，这似乎只是想消耗一个文件名

with open('tmp', 'w') as f: 
    f.write(compressed)
with bz2.BZ2File('tmp') as f:
    for line in f:
        ...

但是，对于我当前的应用程序来说，磁盘 I/O 非常重要，所以这很痛苦。

大概bz2.BZ2Decompressor 对象在这里可能会有所帮助。我的经验是我给它我的压缩数据，它给我整个解压缩的结果；它似乎没有流式传输。也许这是我数据的限制？

Answer 1

有两个明显的问题：

1. 流媒体
2. 不写入磁盘

为了解决2.，你是对的，你可以使用bz2.BZ2Compressor。但是 1.... 的解决方案完全取决于您的第一行是什么

compressed = load_from_network_service(...)

真的回来了。如果compressed 是一个字符串，那么您无能为力：您必须等到全部检索到它，然后再解压缩。相反，如果它是一个增量“填充”StringIO，那么您可以执行类似（未经测试）的操作：

decompressed = ''
while True:
    compressed_chunk = compressed.read(100)
    # Can be empty (even before the stream is exhausted):
    decompressed_chunk = decompressor.decompress(data)
    if decompressed_chunk:
        decompressed += decompressed_chunk
        new_lines = decompressed.splitlines()
        decompressed = new_lines[-1]
        for line in new_lines[:-1]:
            do_something(line)
    if len(chunk) < 100:
        # Reached EOF
        break