使用多处理更新类实例列表中的值

Question

我看到了一些建议，我什至不应该使用多处理来执行此操作，或者这不是使用多处理（内存共享）的方式，但我还是要问一下，看看我是否能更好地理解它。

我有一个 Person 类，我想使用 update_age 方法更新那个人的年龄。假设我有数百万个 Person 对象（而不是这里显示的 4 个），我想使用 Multiprocessing 来更新我拥有的所有 Person 实例的年龄。

class Person():
    def __init__(self, age):
        self.age = age

    def update_age(self):
        self.age += 10

people = [Person(1), Person(2), Person(3), Person(4)]

p = Pool(4)

results = [p.apply_async(person.update_age, ()) for person in people]

print([res.get() for res in results])

这会给我[None, None, None, None]，因为方法 Person.update_age 没有返回任何东西。如果我将课程更改为：

class Person():
    def __init__(self, age):
        self.age = age

    def update_age(self):
        return self.age + 10

我会得到正确的回复[11, 12, 13, 14]。但这需要我重构该类中的所有方法。如果我在不考虑可伸缩性的情况下开发 Person 类，那就需要做很多工作。 有什么方法可以让我保持课程的原始结构，并且仍然能够使用多处理将工作负载分散到我的所有 CPU 上？

编辑：所以如果我在父进程中有这样的方法。

def update_all():
  for person in people:
    person.update_age()

使用所有 CPU 更新所有“人”的正确方法是什么？

Answer 1

您可以将自定义函数传递给多处理池，而无需修改 Person 类。但是，在当前情况下，您实际上并不需要多处理，因为您的 update_age 是非常简单（计算）的函数。

不过，如果您的 update_age 函数需要 1 毫秒才能完成，那么使用多处理是合理的。

这是一个例子，我在更新年龄中添加了一个小延迟，并引入了外部函数来对每个人执行：

import time
import copy
import random
import multiprocessing as mp
from multiprocessing.pool import Pool


class Person():
    def __init__(self, age):
        self.age = age

    def update_age(self):
        self.age += 10
        time.sleep(0.001)


def get_updated_age(person: Person) -> int:
    person.update_age()
    return person.age


if __name__ == "__main__":
    people = [Person(random.randint(0, 60)) for _ in range(int(1e4))]
    people_copy = copy.deepcopy(people)

    start = time.perf_counter()
    results_loop = []
    for person in people:
        person.update_age()
        results_loop.append(person.age)
    print(f'Apply with loop took {time.perf_counter() - start} seconds')
    
    p = Pool(mp.cpu_count())

    start = time.perf_counter()
    results_map = p.map(get_updated_age, people_copy)
    print(f'Apply with pool map took {time.perf_counter() - start} seconds')

    print(results_loop == results_map)

我已经创建了 10,000 个年龄随机的人，并按顺序（在循环中）应用了 update_age，并使用了多处理池。输出如下：

Apply with loop took 13.693018896 seconds
Apply with pool map took 3.141904311000001 seconds
True

因此，您可以看到带有外部函数的多处理可用于更有效地执行 cpu-bound 操作。

否则，如果操作不是 cpu 密集型的（如您原来的 +10），由于进程创建和池操作成本，顺序代码将优于多处理。如果我删除time.sleep(0.001)，上述代码的输出将是

Apply with loop took 0.003054251000000008 seconds
Apply with pool map took 0.01680525399999999 seconds
True

因此，在这种情况下，多处理没有用。