使用 Python 生成多个进程

Question

之前我尝试在 python 中使用 threading 模块来创建多个线程。然后我了解了GIL 以及它如何不允许在单台机器上利用多个 CPU 内核。所以现在我正在尝试进行多处理（我并不严格需要单独的线程）。

这是我编写的示例代码，用于查看是否正在创建不同的进程。但从下面的输出中可以看出，我每次都得到相同的进程 ID。所以没有创建多个进程。我错过了什么？

import multiprocessing as mp
import os

def pri():
    print(os.getpid())

if __name__=='__main__':

    # Checking number of CPU cores
    print(mp.cpu_count())

    processes=[mp.Process(target=pri()) for x in range(1,4)]

    for p in processes:
        p.start()

    for p in processes:
        p.join()

输出：

4
12554
12554
12554

Answer 1

Process 类需要一个可调用对象作为其目标。

您不是在单独的进程中运行该函数，而是调用它并将其结果（在本例中为None）传递给Process 类。

只需更改以下内容：

mp.Process(target=pri())

与：

mp.Process(target=pri)

Answer 2

由于子进程在不同的进程上运行，您不会看到它们的打印语句。它们也不共享相同的内存空间。您将 pri() 传递给需要 pri 的目标。您需要传递一个 可调用对象，而不是执行它。

您看到的打印是您的主线程执行的一部分。因为你传递了pri()，所以实际上执行了代码。您需要更改您的代码，以便 pri 函数 返回 值，而不是打印它。

然后你需要实现一个queue，你的所有线程写入到它，当它们完成时，你的主线程读取队列。

multiprocessing 模块的一个很好的特性是Pool 对象。它允许您创建一个线程池，然后就可以使用它。更方便。

我试过你的代码，问题是命令执行太快，所以操作系统重用了 PID。如果您在 pri 函数中添加 time.sleep(1)，它将按预期工作。

这仅适用于 Windows。下面的例子是在 Windows 平台上制作的。在类 Unix 的机器上，你不需要睡眠。

比较方便的方案是这样的：

from multiprocessing import Pool
from time import sleep
import os

def pri(x):
    sleep(1)
    return os.getpid()

def use_procs():
    p_pool = Pool(4)
    p_results = p_pool.map(pri, [_ for _ in range(1,4)])
    p_pool.close()
    p_pool.join()
    return p_results

if __name__ == '__main__':
    res = use_procs()
    for r in res:
        print r

不睡觉：

==================== RESTART: C:/Python27/tests/test2.py ====================
6576
6576
6576
>>> 

与睡眠：

==================== RESTART: C:/Python27/tests/test2.py ====================
10396
10944
9000