如何查找多个子进程的执行时间？

Question

我有一个 Linux 命令列表，我正在使用 subprocess 模块运行每个命令，我需要弄清楚如何找到每个命令的执行时间并在列表或字典中返回执行时间，在dict 的情况下，Key 可以是命令名称，值可以是时间，以秒为单位。

即(Popen object).poll() == 0 结束的那一刻应该决定结束时间。

我正在使用 Python 3.5.2

例如：

import time
import shlex
from subprocess import *`

#list of commands
commands = ['sleep 5', 'ls -l', 'find /usr','sleep 3','uptime']

#executing each command in the list
for command in commands:
     cmd = shlex.split(command)
     # Need to time this and the moment it is finished executing.
     x = Popen(cmd, shell=True, stdout=PIPE, stderr=PIPE)

应该返回/打印：

- Commands   Time(secs)
- sleep 5     5.0004   #whatever the time it takes
- ls -l       0.000    #and so on....

Answer 1

Popen 是穷人的“后台运行”技术。你可以控制进程，但如果你想等待它以非轮询方式结束，你不能。

如果您不关心输出，只关心执行时间，您可以将每个 subprocess.call（不再需要 Popen）包装在一个线程中，并更新字典命令 => 花费的时间

启动线程不会阻塞，而是call 阻塞，让您更轻松地计时执行。

import threading,time,subprocess,shlex

time_dict = {}

def time_me(command):
    start_time = time.time()
    cmd = shlex.split(command)
    subprocess.call(cmd)
    time_dict[command] = time.time() - start_time

threads = []
commands = ['sleep 5', 'ls -l', 'find /usr','sleep 3','uptime']

for command in commands:
    t = threading.Thread(target=time_me,args=(command,))
    t.start()
    threads.append(t)

for t in threads:
    t.join()

print(time_dict)

Answer 2

虽然线程肯定是解决此问题的方法（假设正确处理共享数据），但您也可以运行 while 循环：

import time
import shlex
from subprocess import *

#list of commands
commands = ['sleep 5', 'ls -l', 'sleep 3', 'uptime', 'find /usr']
times = {}
running = {}
#executing each command in the list
for command in commands:
    start_time = time.time()
    cmd = shlex.split(command)
    times[command] = time.time()
    running[command] = Popen(cmd,
                             # no shell=True, shlex already did the split
                             stdout=PIPE, stderr=PIPE)

while len(running):
    finished = set()
    for cmd, proc in running.items():
        if proc.poll() is not None:
            times[cmd] = time.time() - times[cmd]
            finished.add(cmd)
        else:
            proc.communicate() # drain the pipe

    for cmd in finished:
        del running[cmd]

print(times)

请注意，这不会阻塞（与其线程替代相反），因此它最终可能会占用您的 CPU。为了减轻负载，您可以在循环结束时添加对time.sleep 的调用，这会使结果稍微不准确。

编辑： 由于您在示例中使用了管道，因此我假设您希望使用（某些）命令的输出进行一些有意义的处理。不管你愿不愿意，如果你不做proc.communicate，你最终会填满你的管道，从而阻塞这个过程。或者，您当然可以将输出重定向（到某个文件或 /dev/null）。与进程通信也可能会改变结果，处理也是如此:)