操作系统级别的更改以加速 Python 的多处理？

Question

在我使用的 linux 系统上，调度程序并不是很慷慨地给从 python 的多处理模块产生的子进程提供 cpu 时间。在 4 核机器上使用 4 个子进程时，根据ps，我得到大约 22% 的 CPU。但是，如果子进程是 shell 的子进程，而不是 python 程序，它会上升到接近 100% 的 CPU。但是与手动拆分我的数据并为每个拆分运行单独的 python 程序相比，多处理是一个更好的界面，并且最好同时获得两全其美（代码组织和高 CPU 利用率）。我尝试将进程的 niceness 设置为 -20，但这没有帮助。

我想知道使用某些选项重新编译 linux 内核是否会帮助调度程序为 python 多处理工作人员提供更多的 CPU 时间。也许有相关的配置选项？

我使用的确切版本是：

$ uname -a
Linux <hostname> 3.19.0-39-generic #44~14.04.1-Ubuntu SMP Wed Dec 2 10:00:35 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

如果这可能与我使用多处理的方式有关，它的形式是：

 with Pool(4) as p:
     p.map(function,data)

更新： 这不是一个可重现的问题。这里报告的结果是几天前的结果，我再次运行测试，多处理过程与我希望的一样快。也许这个问题应该被删除，误导人们对multiprocessing的预期表现不好。

Answer 1

我认为您的基准测试并不像您想象的那样执行独立的任务。您没有显示function 的代码，但我怀疑它会进行一些同步。

我编写了以下基准。如果我使用--fork 或--mp 选项运行脚本，我总是得到400% 的CPU 利用率（在我的四核机器上）和大约18 秒的可比整体执行时间。但是，如果使用 --threads 选项调用，程序有效地按顺序运行，仅实现大约 100% 的 CPU 利用率，并且由于 mentioned 由 dave 的原因需要一分钟才能完成。

import multiprocessing
import os
import random
import sys
import threading


def find_lucky_number(x):
    prng = random.Random()
    prng.seed(x)
    for i in range(100000000):
        prng.random()
    return prng.randint(0, 100)

def with_threading(inputs):
    callback = lambda x : print(find_lucky_number(x))
    threads = [threading.Thread(target=callback, args=(x,)) for x in inputs]
    for t in threads:
        t.start()
    for t in threads:
        t.join()

def with_multiprocessing(inputs):
    with multiprocessing.Pool(len(inputs)) as pool:
        for y in pool.map(find_lucky_number, inputs):
            print(y)

def with_forking(inputs):
    pids = list()
    for x in inputs:
        pid = os.fork()
        if pid == 0:
            print(find_lucky_number(x))
            sys.exit(0)
        else:
            pids.append(pid)
    for pid in pids:
        os.waitpid(pid, 0)

if __name__ == '__main__':
    inputs = [1, 2, 3, 4]
    if sys.argv[1] == '--threads':
        with_threading(inputs)
    if sys.argv[1] == '--mp':
        with_multiprocessing(inputs)
    elif sys.argv[1] == '--fork':
        with_forking(inputs)
    else:
        print("What should I do?", file=sys.stderr)
        sys.exit(1)

Answer 2

欢迎使用 CPython 全局解释器锁。您的线程显示为 linux 内核的不同进程（这就是线程在 Linux 中的一般实现方式：每个线程都有自己的进程，因此内核可以调度它们）。

那么，为什么 Linux 不能一次调度多个它们运行（这就是为什么您的 4 核机器平均大约 25% 减去一点开销）？ python 解释器在解释每个线程时持有一个锁，从而阻止其他线程运行（因此无法调度它们）。

要解决此问题，您可以：

1. 使用进程而不是线程（正如您在问题中提到的那样）
2. 使用没有全局解释器锁的其他 python 解释器。