【发布时间】:2019-04-17 08:53:29
【问题描述】:
我有一个可以将大量数据输出到标准输出的子进程。当生成太多数据时,会导致子进程挂起,因为它正在等待 stdout 缓冲区被清空。
下面是一个小例子……
test.py
#!/usr/local/bin/python2.7
# test.py
import subprocess
proc = subprocess.Popen(["python","./_ping_con.py"], stdout = subp.PIPE)
while proc.poll() is None:
pass
print proc.stdout.read()
...和子进程:
#!/usr/local/bin/python2.7
# _ping_con.py
print(96000 * "*") # Hangs here because it's too much data for the stdout pipe
我想知道的是,这个缓冲区是否可以扩展以允许处理更多数据?如果没有,是否可以通过其他方式发送数据来避免此问题?或者在主进程中,有没有办法判断标准输出缓冲区是否已满并进行读取?
【问题讨论】:
-
这是一个已知的错误:" 注意这将在使用 stdout=PIPE 或 stderr=PIPE 时出现死锁,并且子进程会向管道生成足够的输出,从而阻塞等待 OS 管道缓冲区接受更多数据。使用管道时使用 Popen.communicate() 来避免这种情况。"
-
@rdas,已知,是的。我不确定这是一个 错误 - 它的行为符合设计和记录。
标签: python subprocess stdout