如何将 python 多处理与生成器一起使用？

Question

我想在 python 中使用带有生成器函数的多处理

假设我有大量列表big_list，我想使用多处理来计算值。如果我使用返回值的“传统”函数，这很简单：

import concurrent

def compute_function(list_of_lists):
    return_values = []   ## empty list
    for list in list_of_lists:
        new_value = compute_something(list)    ## compute something; just an example
        return_values.append(new_value)  ## append to list
    return return_values

with concurrent.futures.ProcessPoolExecutor(max_workers=N) as executor:
        new_list = list(executor.map(compute_function, big_list))

但是，以这种方式使用列表会占用大量内存。所以我想改用生成器函数：

import concurrent

def generator_function(list_of_lists):
    for list in list_of_lists:
        new_value = compute_something(list)    ## compute something; just an example
        yield new_value

with concurrent.futures.ProcessPoolExecutor(max_workers=N) as executor:
        new_list = list(executor.map(generator_function, big_list))

我的问题是，你不能腌制生成器。对于其他数据结构，有一些解决此问题的方法，但我认为不适用于生成器。

我怎样才能做到这一点？

Answer 1

您可以使用itertools.chain.from_iterable 在big_list 中更深一层地进行枚举以迭代子列表。

import concurrent
import itertools

def compute_function(item):
    return compute_something(item)

with concurrent.futures.ProcessPoolExecutor(max_workers=N) as executor:
    for result in executor.map(compute_function,
            itertools.chain.from_iterable(big_list)):
        print(result)

Answer 2

generator 只是一个保存状态的奇特循环，它类似于迭代器逻辑，它为您提供next、hasNext 和类似的 api，因此您的循环将询问该迭代器的下一项（如只要它有下一项）

生成器的植入完全取决于开发者，可以通过

• 将所有数据加载到内存并用next遍历，从而达到无内存效率，例如for i in [1,2,3,4]
• 逐行读取某个文件，例如for line in file
• 如果生成函数已知，则根据最后生成的元素生成下一个元素，例如range(100)
• 还有更多...

都有一个共同的要求，生成器需要保持它的当前状态，以便它知道在下一个状态下yield 是什么，从而使它非常有状态，这反过来又使它在多处理中使用非常糟糕的选择...

您可以使用 map-reduce 类似的逻辑来解决这个问题，并将整个列表拆分为小的子列表，将它们传递给工作人员并将其所有输出连接到最终结果