在多线程进程中安排结果

Question

假设我有一个代码，使用多处理返回给我一个包含 200000 个项目的列表，这些项目是它们自己的列表（在标记为第 1 点的代码中）。如果我只需要一个包含内部项目的列表，我会再次迭代收到的列表（在标记为第 2 点的代码中）。

问题：标记为点 2 的线不能并行工作，因此需要宝贵的时间。有没有办法将函数cu中的所有数据直接写入doc？

def cu(num):
   return range(num)

pool = mp.Pool(processes=384)
results = [pool.apply_async(cu, args=(20, )) for ind in range(200000)]
docs = [p.get() for p in results] # point 1
docs = [point for item in docs for point in item] # point 2
pool.close()
pool.join()

我怀疑用多处理代替多线程会解决这个问题，但我担心它不会节省时间。

注意：这是一个最小的例子。

Answer 1

问题是您只为一个操作运行了一个池，但运行了 20 万次，但您希望该池运行超过 20 万次操作。您需要使用 map_async，与生成器和 itertools.chain.from_iterable：

docs = itertools.chain.from_iterable(
    pool.map_async(cu, args=(20 for _ in range(200000)))
)

这个解决方案是惰性的，这意味着您需要使用迭代器来获取值（迭代它），您可以轻松使用：

docs = list(docs)

或者如果您不希望存储结果：

for doc in docs:
    ... #Do your stuff here