【问题标题】:Python Multiprocessing module unexpected outputs. What can be the cause of it?Python 多处理模块意外输出。可能是什么原因造成的?
【发布时间】:2020-10-01 03:41:07
【问题描述】:

我正在学习 Python 的多处理模块。我在 Python 3.8 上。这是我的示例代码:

# import stuff

def add(x, y):
    time.sleep(10)
    print(f'{x + y} \n')


def main():

    start = time.perf_counter()

    if __name__ == '__main__':
        p1 = mp.Process(target=add, args=(100, 200))
        p2 = mp.Process(target=add, args=(200, 300))
        p1.start(); p2.start()
        p1.join(); p2.join()

    end = time.perf_counter()

    print(f'{end - start} seconds \n')


main()

我期待如下输出:

300

500

10.something seconds

但是当我运行它时,我得到:

5.999999999062311e-07 seconds 
5.00000000069889e-07 seconds 


500 

300 

10.704853300000002 seconds

由于某种原因,end = time.perf_counter(); print(f'{end - start} seconds \n') 部分在每个进程启动后执行一次,在它们都结束后再执行一次。但是这里我特意写p1.join(); p2.join()告诉计算机等到这些进程完成后再继续下面的代码行。

为什么会这样?我能做些什么来解决它?

【问题讨论】:

  • 你用的是什么平台?
  • @dano,我在 Windows 10 上

标签: python python-3.x parallel-processing process multiprocessing


【解决方案1】:

这是因为您在不支持fork 的Windows 上运行。在 Linux 上,我看到了您期望的输出。因为 Windows 不能 fork,它必须在每个子进程中重新导入整个模块才能运行您的工作函数。因为您没有在if __name__ == "__main__": 保护中保护计算/打印运行时的代码,所以它们在启动时在您的两个工作进程中执行,除了在工作人员完成后在您的主进程中运行。将它们(以及您只想在父进程中运行的任何其他代码)移动到警卫中以获得您想要的输出:

# import stuff

def add(x, y):
    time.sleep(10)
    print(f'{x + y} \n')


def main():
    p1 = mp.Process(target=add, args=(100, 200))
    p2 = mp.Process(target=add, args=(200, 300))
    p1.start(); p2.start()
    p1.join(); p2.join()


if __name__ == '__main__':
    main()

【讨论】:

  • 有个小错误。它应该是 '__main__' 而不是 '__main__"
猜你喜欢
  • 2021-07-04
  • 1970-01-01
  • 1970-01-01
  • 2016-01-04
  • 1970-01-01
  • 1970-01-01
  • 2023-03-04
  • 1970-01-01
  • 2015-01-07
相关资源
最近更新 更多