在 Python 中实时截取另一个进程的标准输出

Question

我想运行一个系统进程，截取输出，并在 Python 脚本中逐行实时修改。

我的最佳尝试是：在打印之前等待该过程完成：

#!/usr/bin/env python
import subprocess

cmd = "waitsome.py"
proc = subprocess.Popen(cmd, shell=True, bufsize=256, stdout=subprocess.PIPE)
for line in proc.stdout:
    print ">>> " + line.rstrip()

脚本waitsome.py 只是每半秒打印一行：

#!/usr/bin/env python
import time
from sys import stdout

print "Starting"
for i in range(0,20):
    time.sleep(0.5)
    print "Hello, iteration", i
    stdout.flush()

是否有一个简单的解决方案可以让subprocess 允许实时迭代输出？我必须使用线程吗？

曾几何时，我用 Perl 编写脚本，这简直是小菜一碟：

open(CMD, "waitsome.py |");
while (<CMD>) {
    print ">>> $_";
}
close(CMD);

Answer 1

循环遍历文件不可避免地会以相当大的块缓冲内容——这是所有 Python 2.* 实现的一个已知问题。它在 Python 3.1 中按您的预期工作，最终循环略有不同：

for line in proc.stdout:
    print(">>> " + str(line.rstrip()))

如果升级到 Python 3.1 是不切实际的（我知道它经常会这样！），换一种方式，以老式的方式编写循环 - 以下版本的循环确实可以在 Python 中按您的意图工作2.*：

while True:
    line = proc.stdout.readline()
    if not line:
        break
    print ">>> " + line.rstrip()

Answer 2

这整件事可以封装在一个迭代器中：

def subprocess_readlines(out):
    while True:
        line = out.readline()
        if not line:
            return
        yield line

并称为：

for line in subprocess_readlines(proc.stdout):
    print ">>>", line.rstrip()