连接多个 .gz 文件，使用 Python 在除第一个文件之外的所有文件中跳过标题行

Question

我的问题与this 基本相同，但我不想使用awk，而是想使用Python，假设它并不比使用其他方法慢很多。我正在考虑逐行阅读并即时压缩，但后来我遇到了this 帖子，这听起来是个坏主意（压缩效率不是很高）。我遇到了this nice-looking gzip built-in Python library，所以我希望有一些干净、快速、高效的 p​​ythonic 方式来做到这一点。

我想从这里开始：

gzcat file1.gz
# header
1
2

到这里：

# header
1
2
1
2
1
2
1
2

我有几百个文件，未压缩的总大小约为 60 GB。这些文件是压缩后的 CSV 文件。

Answer 1

由于您需要删除每个 CSV 文件的第一行，因此您别无选择，只能将所有数据解压缩并重新压缩。

您可以打开一个 gzip 输出文件以使用with gzip.open('all.gz', 'wb') as g: 写入结果。

您可以使用with gzip.open('filen.gz', 'rb') as f: 打开每个输入文件，然后在该对象上使用x = f.readline() 以一次一行读取未压缩的数据。例如，您可以选择丢弃每个文件中的第一行，而不是第一行。

对于您想要保留的行，您可以使用g.write(x) 将它们写入输出。