实时 subprocess.Popen 通过 stdout 和 PIPE

Question

我正在尝试从subprocess.Popen 呼叫中获取stdout，尽管我很容易通过以下方式实现：

cmd = subprocess.Popen('ls -l', shell=True, stdout=PIPE)
for line in cmd.stdout.readlines():
    print line

我想“实时”获取stdout。使用上面的方法，PIPE正在等待抓取所有stdout然后返回。

因此，出于记录目的，这不符合我的要求（例如，当它发生时“查看”正在发生的事情）。

有没有办法在运行时逐行获取stdout？或者这是subprocess 的限制（必须等到PIPE 关闭）。

编辑 如果我将readlines() 切换为readline()，我只会得到stdout 的最后一行（不理想）：

In [75]: cmd = Popen('ls -l', shell=True, stdout=PIPE)
In [76]: for i in cmd.stdout.readline(): print i
....: 
t
o
t
a
l

1
0
4

Answer 1

如前所述，当没有终端连接到进程时，问题在于 stdio 库对类似 printf 语句的缓冲。无论如何，在 Windows 平台上有一种解决方法。其他平台上可能也有类似的解决方案。

在 Windows 上，您可以在进程创建时强制创建一个新控制台。好消息是它可以保持隐藏状态，因此您永远看不到它（这是由子进程模块中的 shell=True 完成的）。

cmd = subprocess.Popen('ls -l', shell=True, stdout=PIPE, creationflags=_winapi.CREATE_NEW_CONSOLE, bufsize=1, universal_newlines=True)
for line in cmd.stdout.readlines():
    print line

或

一个稍微更完整的解决方案是您明确设置 STARTUPINFO 参数，以防止启动一个新的和不必要的 cmd.exe shell 进程，上面 shell=True 所做的。

class PopenBackground(subprocess.Popen):
    def __init__(self, *args, **kwargs):

        si = kwargs.get('startupinfo', subprocess.STARTUPINFO())
        si.dwFlags |= _winapi.STARTF_USESHOWWINDOW
        si.wShowWindow = _winapi.SW_HIDE

        kwargs['startupinfo'] = si
        kwargs['creationflags'] = kwargs.get('creationflags', 0) | _winapi.CREATE_NEW_CONSOLE
        kwargs['bufsize'] = 1
        kwargs['universal_newlines'] = True

        super(PopenBackground, self).__init__(*args, **kwargs)

process = PopenBackground(['ls', '-l'], stdout=subprocess.PIPE)
    for line in cmd.stdout.readlines():
        print line

Answer 2

其实真正的解决方案是直接将子进程的stdout重定向到你进程的stdout。

确实，使用您的解决方案，您只能同时打印 stdout，而不能同时打印 stderr。

import sys
from subprocess import Popen
Popen("./slow_cmd_output.sh", stdout=sys.stdout, stderr=sys.stderr).communicate()

communicate() 是为了使调用阻塞直到子进程结束，否则它将直接转到下一行，并且您的程序可能会在子进程之前终止（尽管重定向到您的标准输出仍然有效，即使在您的 python 脚本关闭后，我对其进行了测试）。

这样，例如，您正在重定向 stdout 和 stderr，并且是绝对实时的。

例如，在我的情况下，我使用此脚本进行了测试 slow_cmd_output.sh:

#!/bin/bash

for i in 1 2 3 4 5 6; do sleep 5 && echo "${i}th output" && echo "err output num ${i}" >&2; done

Answer 3

由于这是我几天来一直在寻找答案的问题，因此我想将其留给那些关注的人。虽然subprocess 确实无法对抗其他进程的缓冲策略，但在您使用subprocess.Popen 调用另一个 Python 脚本的情况下，您可以告诉它启动一个无缓冲的 python。

command = ["python", "-u", "python_file.py"]
p = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)

for line in iter(p.stdout.readline, ''):
    line = line.replace('\r', '').replace('\n', '')
    print line
    sys.stdout.flush()

我还看到了一些案例，其中 popen 参数 bufsize=1 和 universal_newlines=True 有助于暴露隐藏的 stdout。

Answer 4

您的解释器正在缓冲。在您的打印语句之后添加对 sys.stdout.flush() 的调用。

Answer 5

要“实时”获得输出，subprocess 不适合，因为它无法击败其他进程的缓冲策略。这就是我一直建议的原因，每当需要这种“实时”输出抓取（关于堆栈溢出的一个常见问题！），改为使用pexpect（除 Windows 之外的任何地方——在 Windows 上，wexpect）。

Answer 6

删除合并输出的 readlines()。 此外，您还需要强制执行行缓冲，因为大多数命令将内部缓冲输出到管道。详情见：http://www.pixelbeat.org/programming/stdio_buffering/

Answer 7

cmd = subprocess.Popen(["ls", "-l"], stdout=subprocess.PIPE)
for line in cmd.stdout:
    print line.rstrip("\n")

Answer 8

对readlines 的调用正在等待进程退出。用 cmd.stdout.readline() 周围的循环替换它（注意单数），一切都应该很好。