Python 管道 - 增量读取输出时会发生什么答案

【问题标题】：Python Pipes - What Happens When Reading Output IncrementallyPython 管道 - 增量读取输出时会发生什么
【发布时间】：2009-10-23 09:33:58
【问题描述】：

根据a section中的this presumably accurate book，

管道的一个常见用途是读取增量压缩文件；那是，没有解压缩整个一下子。以下函数将压缩文件的名称作为一个参数并返回一个管道使用 gunzip 解压内容：
 def open_gunzip(filename):
     cmd = 'gunzip -c ' + filename
     fp = os.popen(cmd)
     return fp
如果你从 fp 中读取一行时间，您永远不必存储内存中或上的未压缩文件磁盘。

也许我只是解释错了，但我不明白这怎么可能。 Python 无法在吐出结果的过程中暂停 gunzip，对吧？我假设 gunzip 在继续输出更多行之前读取一行输出之前不会阻塞，因此必须有一些缓冲区捕获所有这些（无论是在 Python 解释器中还是在操作系统中，无论是在内存中还是在磁盘上)，这意味着未压缩的文件被完整地存储在某处...对吗？

【问题讨论】：

永远不要使用os.popen。它已被弃用。请改用subprocess 模块。

标签： python unix pipe

【解决方案1】：

你的假设是错误的。 gunzip 不必查看整个文件即可解压缩它。阅读解压缩文件格式。有一个目录，其中包含各个组件的偏移量。

可以分段解压文件。

“未压缩的文件正在完整存储在某处......对吗？”

不一定。不知道你为什么假设它或你在哪里读到它。

所有低级 I/O 调用都可以阻塞。 gunzip 中的写入（写入管道时）可能会在管道缓冲区已满时阻塞。这就是定义管道 I/O 的方式。管道 I/O 块。

查看管道的手册页以获取详细信息。

如果一个进程试图从一个空管道，然后 read(2) 将
阻塞直到数据可用。如果一个进程尝试写入一个
满管（见下文），然后写（2）阻塞直到有足够的数据
从管道中读取以允许写完成。非阻塞
使用 fcntl(2) 可以实现 I/O F_SETFL 操作启用
O_NONBLOCK 打开文件状态标志。

【讨论】：

【解决方案2】：

这真的来自gunzip 实现，而不是来自python。它是用 C 编写的。它可能使用 C 的 stdio.h 中的 fwrite() 来编写它的输出。

libc6 实现我使用自动创建一个输出缓冲区，当它被填满时，阻塞fwrite()，直到它可以写更多。

【讨论】：

关键是当gunzip调用write()时，阻塞发生在内核中。无论您的程序是用 C 还是 Python 编写的，甚至根本使用 libc，都会发生这种情况。

【解决方案3】：

暂停gunzip 的不是Python，而是内核在尝试写入（使用write() 系统调用）到完整缓冲区时将停止执行gunzip。这称为阻塞 IO。内核维护一个连接管道两端的内部缓冲区，独立于任何正在写入或读取管道的进程中发生的任何缓冲。

当从具有空缓冲区（即当前没有来自gunzip 的任何数据写入其中）的管道读取数据时，Python 也会同样阻塞。

管道可以看作是Producer-consumer problem 的解决方案。

【讨论】：