如何在 Python 中压缩一个大文件？

Question

我遇到的问题是存储文件的名称。存储的文件未使用原始/未压缩文件名命名。相反，存储的文件以存档名称命名（带有附加的“.gz”扩展名）。

预期结果：
file.txt.gz {档案名称}
....file.txt {存储的文件名}

实际结果：
file.txt.gz {档案名称}
....file.txt.gz {存储的文件名}

通读 gzip 文档 (https://docs.python.org/2.7/library/gzip.html) 示例代码：

import gzip
import shutil
with open('file.txt', 'rb') as f_in, gzip.open('file.txt.gz', 'wb') as f_out:
    shutil.copyfileobj(f_in, f_out)

如何让存档存储名为“file.txt”而不是“file.txt.gz”的文件？

Answer 1

你必须使用gzip.GzipFile();速记 gzip.open() 不会做你想做的事。

Qthe doc:

fileobj 不是None 时，filename 参数仅用于包含在 gzip 文件头中，其中可能包含未压缩文件的原始文件名。如果可识别，它默认为 fileobj 的文件名；否则，它默认为空字符串，在这种情况下，原始文件名不包含在标题中。

试试这个：

import gzip
import shutil
with open('file.txt', 'rb') as f_in:
    with open('file.txt.gz', 'wb') as f_out:
        with gzip.GzipFile('file.txt', 'wb', fileobj=f_out) as f_out:
            shutil.copyfileobj(f_in, f_out)

Answer 2

您在区分“存储的文件名”和“存档名称”，但对于 gzip 压缩，这是错误的想法，因为 gzip 不是存档格式，而只是一种压缩协议。

当您存储“gzip”文件时，它不会（必然）记住原始文件名。只有原始文件的压缩内容，你可以给它任何你想要的名字。有一个约定，将其命名为与原始文件相同的名称，但附加“.gz”。如果您只提供文件名，则 Unix 系统上的“gzip”和“gunzip”实用程序将假定：

gzip foo.txt
# now foo.txt has been deleted, and foo.txt.gz exists
gunzip foo.txt.gz
# now you have foo.txt back, and foo.txt.gz has been deleted.

如果您将 foo.txt.gz 重命名为 bar.txt.gz，然后使用 gunzip，如果您使用 Unix gunzip，您将获得“goo.txt”（但其他实用程序可能会有所不同）。

但是，您可以在流模式下使用 gzip 和 gunzip，在这种情况下，它们对文件名一无所知 - gzip 真正用于压缩，而不关心文件名。

（编辑：gzip可以存储文件名，但在某些情况下不能（如果没有原始“文件”，只有数据），并且在解压缩时是否使用它是完全可选的）。