Python，多处理库问题

Question

我有一个程序，我想在其中为多个参数并行运行其中一个函数。

程序格式如下：

import statements 

def function1():
     do something

def function2()
     do something

def main():

     function1()

我在网上找到了几个如何使用multiprocessing库的例子比如下面这个通用模板

import multiprocessing

def worker(num):
    print 'Worker:', num
    return

if __name__ == '__main__':
    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(i,))
        p.start()

据我了解，worker() 是旨在并行执行的功能。但我不确定在哪里或如何使用 (if __name__ == '__main__':) 屏蔽代码。

到目前为止，该块在我的main() 中，当我运行程序时，我没有多次执行工作函数，而是我的 main 被多次执行？

那么在哪里放置 (if __name__ == '__main__':) 块的合适位置

Answer 1

将您提供的两个示例混合在一起，它看起来像这样：

import multiprocessing

def worker(num):
    print 'Worker:', num
    return

def main():

    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(i,))
        p.start()
        p.join()

if __name__ == '__main__':
     main()

将 worker 替换为 function1，即您想要并行化的任何一个。

关键部分是在if __name__ == '__main__': 块中调用main 函数，但是在这个简单的示例中，您可以轻松地将def main(): 下的代码直接放在if __name__ == '__main__': 下。

如果你永远不会从这个文件中导入任何东西，你甚至不需要if __name__ == '__main__': 部分；仅当您希望能够将此脚本中的函数导入其他脚本/交互式会话而不运行main() 中的代码时，才需要这样做。见What does if __name__ == "__main__": do?。

所以最简单的用法是：

import multiprocessing

def worker(num):
    print 'Worker:', num
    return

for i in range(5):
    p = multiprocessing.Process(target=worker, args=(i,))
    p.start()
    p.join()

编辑：多处理池示例

import multiprocessing

def worker(num):
    #print 'Worker:', num
    return num

pool = multiprocessing.Pool(multiprocessing.cpu_count())

result = pool.imap(worker, range(5))

print list(result)

打印：

[0, 1, 2, 3, 4]

更详细的解释请参见Python multiprocessing.Pool: when to use apply, apply_async or map?。