使用多处理在 Python 中制作地图函数的并行版本时出现 Pickle 错误

Question

我正在使用Python 3.6.1 关注Is there a simple process-based parallel map for python? 上的答案。我正在尝试以与使用常规 map 函数相同的方式使用它。为什么会这样？如何创建一个并行的map 函数以与lambda 一起使用？

def map_parallel(func, iterable, n_jobs=-1):
    if n_jobs == -1:
        n_jobs = multiprocessing.cpu_count()
    pool = multiprocessing.Pool(processes=n_jobs)
    return pool.map(func, iterable)

map_parallel(lambda x: x + 3, range(100))


PicklingError: Can't pickle <function <lambda> at 0x185284f28>: attribute lookup <lambda> on __main__ failed

Answer 1

多处理泡菜对象在进程之间传递。 lambda 不可序列化（参见What can be pickled and unpickled?）；它不能在进程之间传递。

你需要定义一个函数，然后传递它。

def add3(n):
    return n + 3

map_parallel(add3, range(100))

或者对于这种情况，您可以使用functools.partial 和operator.add：

import functools
import operator

map_parallel(functools.partial(operator.add, 3), range(100))