Python 3：多处理线程池中的线程终止不起作用

Question

我正在使用 Ubuntu 16.04.2 LTS 和 Python 3.5.2。 我有一个来自multiprocessing 的ThreadPool 正在做一些工作。 现在我想在工作时终止这个池。

使用ThreadPool.terminate() 无法按预期工作。 运行以下示例时，worker 永远不会停止工作，并且程序永远不会超过 ThreadPool.join() 调用。

import time
from multiprocessing.pool import ThreadPool

def task():
    try:
        while True:
            print("Working")
            time.sleep(1)
    except: # Unsuccessful attempt. :(
        print("Working, stopping now")

thread_pool = ThreadPool(processes=1)

thread_pool.apply_async(task)
time.sleep(1) # Make sure the task is actually started.

print("Terminating")
thread_pool.terminate()
print("Termination: Initiated")
thread_pool.join() # Does not return.
print("Termination: Done")

我做错了什么？

Answer 1

您特别要求ThreadPool 而不是Pool。这意味着multiprocessing 代码将创建一个本地线程（在您自己的进程中），而不是创建一个新进程。

ThreadPool 实例不能被突然终止，因为没有为此定义的机制（与系统可以调用os.kill 的进程相比）。在您的代码中，.terminate 指令最终被忽略。事实上，它设置了一个标志，池实例将在任务返回时检查，但您的任务永远不会返回。我们可以通过修订版看到这一点：

import argparse
import sys
import time

from multiprocessing.pool import Pool, ThreadPool

def task(arg):
    for i in range(3):
        print("Working on", arg, "with i =", i)
        time.sleep(1)

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument('--delay', default=1, type=float)
    args = parser.parse_args()

    thread_pool = ThreadPool(processes=1)

    thread_pool.apply_async(task, (0,))
    thread_pool.apply_async(task, (1,))
    time.sleep(args.delay)

    print("Terminating")
    thread_pool.terminate()
    print("Termination: Initiated")
    thread_pool.join() # Does not return.
    print("Termination: Done")

if __name__ == '__main__':
    try:
        sys.exit(main())
    except KeyboardInterrupt:
        sys.exit('\nInterrupted')

不带参数运行时会这样做：

$ python3 tp.py
Working on 0 with i = 0
Working on 0 with i = 1
Terminating
Termination: Initiated
Working on 0 with i = 2
Termination: Done

当使用--delay 5 运行时：

$ python3 tp.py --delay 5
Working on 0 with i = 0
Working on 0 with i = 1
Working on 0 with i = 2
Working on 1 with i = 0
Working on 1 with i = 1
Terminating
Working on 1 with i = 2
Termination: Initiated
Termination: Done

或者，如果您只使用Pool 而不是ThreadPool，您将获得一个真实的进程，并且可以随时在其上使用.terminate（以通常关于搞砸通信队列的警告为模）。