为 Python 处理其输出的外部程序计时

Question

我想测量我的 Python 脚本使用其输出的外部程序的执行时间。

调用extprogram产生输出的程序，此刻我做了类似的事情：

import time
import subprocess

def process_output(line):
   ...
   ...
   return processed_data

all_processed_data = []

ts = time.time()
p = subprocess.Popen("extprogram", stdout=subprocess.PIPE)

for line in p.stdout:
    all_processed_data.append(process_output(line))
te = time.time()
elapsed_time = te - ts

这不能按预期工作，因为我测量的是extprogram 的执行时间加上处理其输出所需的时间。

extprogram 会产生大量数据，因此我想像现在这样使用循环将其输出“流式传输”到我的 Python 程序中。 当extprogram 终止而不是等待处理所有输出时，如何评估te？

Answer 1

由于你是在 Unix 下，你可以使用time 命令。原理如下：

import sys
import subprocess

p = subprocess.Popen(["time", "ls"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)

for line in p.stdout:  # ls output
    sys.stdout.write(line)

time_output = p.stderr.readlines()

print "Stderr:", ''.join(time_output)

在我的机器上，这给出了：

Stderr:         0.01 real         0.00 user         0.00 sys

总处理器时间是user + sys 时间（real 是挂钟时间，它通常不代表程序使用了多少处理器时间：例如，sleep 5，@ 987654328@时间为5秒，而user和sys时间为0)。

之所以有效，是因为time 输出了对实际执行时间的详细统计（不仅仅是挂墙时间，这取决于正在运行的其他进程等），并且对标准错误输出也是如此。您可以解析标准错误并获取时序信息。

如果您将数据输出到可能干扰time 命令解析的标准错误，则此方法可能不实用。

另外，我还没有检查上述代码不会发生死锁（我不确定如果调用的程序向标准错误打印很多内容会发生什么：程序是否会阻塞，直到标准错误缓冲区读取，如果 Python 程序正在读取标准输出，这可能不会发生？）。也就是说，如果你知道定时程序没有或很少有关于标准错误的数据，我相信上面的代码不会死锁。

Answer 2

以下仍然使用“挂钟”时间，但可以替代使用主机系统时间命令。执行和计时被分成不同的线程，并且可以在执行任何处理之前停止计时器。

from multiprocessing import Event
import threading
import time
import subprocess

def timing(event):
    print "timer starts"
    ts = time.time()
    event.wait()
    te = time.time()
    elapsed_time = te - ts
    print "Elapsed Time " + str(elapsed_time)

def execution(event): 
    for i in range(0,1000):
        p = subprocess.Popen("ls", stdout=subprocess.PIPE)
    event.set()

if __name__ == '__main__':  
    event = Event()
    e = threading.Thread(target=execution, args=(event,))
    t = threading.Thread(target=timing, args=(event,))
    t.start()  
    e.start() 
    while not event.is_set():
        print "running..."
        time.sleep(1)

这给了我以下输出：

timer starts
running...
running...
Elapsed Time 1.66236400604

或者您可以将接收“extprogram”的输出与输出处理分开。

例如：

ts = time.time()
p = subprocess.Popen("extprogram", stdout=subprocess.PIPE)

for line in p.stdout:
    tempdata.append(line)

te = time.time()
elapsed_time = te - ts

for line in tempdata:
    all_processed_data.append(process_output(line))