在python多处理中实现Ctrl+C取消

Question

我一直在使用以下方法在python中实现并行子进程：

pool = multiprocessing.Pool(processes=4)
pool.map_async(my_parallel_func ....)
pool.close()
pool.join()

这些任务将运行几分钟。而且我注意到在pool.join() 阻塞等待期间，我无法按 Ctrl+c 取消主脚本。如果我按Ctrl+c，我会得到一个堆栈打印，程序并没有停止，但它会变成一个僵尸进程。我必须手动杀死每个子进程。

如何让程序通过Ctrl+c退出，同时终止所有子进程？

Answer 1

问题是 Ctrl+c 只从执行异步映射的池中杀死一个进程；一旦它被杀死，管理器就会使用新进程重新生成任务。你需要做的是在my_parallel_func 的顶层有一个except KeyboardInterrupt:，然后这可以通过对主进程的一些特殊值告诉整个进程树应该死。