压缩大型python对象

Question

我正在尝试压缩一个巨大的 python 对象 ~15G，并将其保存在磁盘上。由于要求限制，我需要尽可能地压缩这个文件。我目前正在使用 zlib.compress(9)。我主要担心的是在压缩期间占用的内存超过了我在系统 32g 上可用的内存，并且预计对象的大小会增加。有没有更有效/更好的方法来实现这一点。 谢谢。

更新：还要注意我要保存的对象是一个稀疏的 numpy 矩阵，并且我在压缩之前对数据进行了序列化，这也增加了内存消耗。由于序列化后我不需要 python 对象，gc.collect() 会有帮助吗？

Answer 1

增量（去）压缩应该使用zlib.{de,}compressobj() 来完成，这样可以最大限度地减少内存消耗。此外，使用bz2 代替大多数数据可以获得更高的压缩率。

Answer 2

deflateInit2 () 的 memLevel 参数指定应该为内部压缩状态分配多少内存。默认为8，最大值为9，最小值为1（参见zlib manual）。如果您已经尝试过或者它对您的帮助不够，则可能需要查看其他压缩算法或库。