在python中读取gz文件

Question

我正在尝试读取/提取文件train.gz的内容

我的代码：

import gzip
with gzip.open('train.gz', 'rb') as f:
    file_content = f.read()

当我跑步时：

print(file_content)

我收到此错误（在 jupyter 笔记本上）：

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
/tmp/ipykernel_2392/4036593255.py in <module>
----> 1 print(file_content)

MemoryError: 

有什么建议吗？

Answer 1

MemoryError 表明文件太大，您的运行时无法处理。

IIGC train.gz 可能是一个训练模型，您可能必须将此模型作为一个单独的块来处理。如果是这样，您最好的解决方案是找到更大（更多内存）的机器。

如果可能（并且强烈推荐），您应该通过您的程序流式传输未压缩的文件，以便您可以将缓冲区|内存中的窗口限制在其上，从而限制内存不足的可能性。