使用 Python 压缩大文件，速度非常快答案

【问题标题】：Compress Large Files with Python, really fast使用 Python 压缩大文件，速度非常快
【发布时间】：2020-12-09 15:09:34
【问题描述】：

我正在使用这个函数来压缩一个文件：

def zip_file(path_data,path_zip,File):
    with open(os.path.join(path_data,File), "rb") as f_in, gzip.open(os.path.join(path_zip,File) + ".gz", "wb") as f_out:
        shutil.copyfileobj(f_in, f_out,length=16*1024*1024)

但是 gzip 一个 14 GB 的 4 列文件需要 1604.954 秒，我必须像这样处理 96 个文件。

【问题讨论】：

考虑减少 compresslevel 参数。默认是最大压缩，在该大小的文件上会很慢。 docs.python.org/3/library/gzip.html

标签： python compression gzip shutil

【解决方案1】：

使用compresslevel=1 将参数添加到您的gzip.open。您可以玩 1 到 5 之间的级别（默认为 6，显然您不喜欢）。查看您更喜欢在时间与压缩率之间进行权衡的地方。

顺便说一句，您不应该将其称为“zip_file”。它不是 zip 文件，它与 gzip 文件完全不同。将其称为“gzip_file”或其他名称。

【讨论】：