【发布时间】:2011-07-23 12:14:09
【问题描述】:
在 Python multiprocessing 库中,是否有支持多个参数的 pool.map 变体?
import multiprocessing
text = "test"
def harvester(text, case):
X = case[0]
text + str(X)
if __name__ == '__main__':
pool = multiprocessing.Pool(processes=6)
case = RAW_DATASET
pool.map(harvester(text, case), case, 1)
pool.close()
pool.join()
【问题讨论】:
-
令我惊讶的是,我既不能让
partial也不能让lambda这样做。我认为这与将函数传递给子进程的奇怪方式有关(通过pickle)。 -
@senderle:这是 Python 2.6 中的错误,但已在 2.7 中修复:bugs.python.org/issue5228
-
只需将
pool.map(harvester(text,case),case, 1)替换为:pool.apply_async(harvester(text,case),case, 1) -
@Syrtis_Major ,请不要编辑有效扭曲先前给出的答案的 OP 问题。将
return添加到harvester()会使@senderie 的响应变得不准确。这对未来的读者没有帮助。 -
我想说简单的解决方案是将所有 args 打包在一个元组中,然后在执行的函数中解包。当我需要将复杂的多个 args 发送到由进程池执行的 func 时,我这样做了。
标签: python multiprocessing python-multiprocessing