使用 gzip 文件作为使用 subprocess.call 执行的命令的标准输入

Question

我有一个 python 脚本，使用subprocess.call() 执行多个命令。我需要使用标准输入将 gzip 压缩文件中的数据传递给其中一个命令，但无论我做什么，该命令显然都会获取 gzip 压缩数据。

这是我认为应该起作用的：

import gzip
from subprocess import call

in_fname = 'test.gz'
out_fname = 'test.txt'

gz = gzip.open(in_fname, 'rb')
txt = open(out_fname, 'w')

call(['cat'], stdin=gz, stdout=txt)

但最后，'test.txt' 被压缩并且与压缩后的输入文件大小完全相同。

如果我调用gz.read()，那么我会得到正确的解压缩数据，正如预期的那样。要将 gzip 压缩文件用作标准输入，我需要做什么？

Answer 1

经过一番研究，问题的根源在于您的操作系统不知道 gzip 压缩文件的文件句柄有什么特别之处。基本上，gzip 提供了一个“类文件”接口，但子进程（在这种情况下为cat）不知道这是一个需要解压缩的特殊文件。因此，它只是逐字节读取文件并打印出它读取的乱码。

我的下一个想法是在 python 中读取整个文件（它知道它已被压缩并将解压缩），然后将字符串传递给子进程。我搞砸了将解压缩的内容包装在 StringIO 对象中，但事实证明这不起作用。另一个答案 (Use StringIO as stdin with Popen) 提到对subprocess 的调用略有不同：

import gzip
from subprocess import Popen, PIPE

in_fname = 'test.gz'
out_fname = 'test.txt'

with gzip.open(in_fname, 'rb') as f:
  gz = f.read()
txt = open(out_fname, 'w')


process = Popen(['cat'], stdin=PIPE, stdout=txt)
process.communicate(gz)

哪个有效。请注意，这需要将整个文件读入内存，这对于非常大的文件可能是个问题。