【问题标题】:Python crashes when I put process.join in script when using multiprocessing当我在使用多处理时将 ​​process.join 放入脚本时 Python 崩溃
【发布时间】:2016-10-06 16:15:32
【问题描述】:

我一直在研究多处理,并在网站上找到了一个示例。但是,当我尝试在我的 MacBook 视网膜上运行该示例时,没有任何反应。以下是示例:

import random
import multiprocessing


def list_append(count, id, out_list):
 """
 Creates an empty list and then appends a 
 random number to the list 'count' number
 of times. A CPU-heavy operation!
 """
 for i in range(count):
     out_list.append(random.random())

if __name__ == "__main__":
 size = 10000000 # Number of random numbers to add
 procs = 2 # Number of processes to create

# Create a list of jobs and then iterate through
# the number of processes appending each process to
# the job list 
jobs = []
for i in range(0, procs):
    out_list = list()
    process = multiprocessing.Process(target=list_append, 
         args=(size, i, out_list))
    jobs.append(process)

# Start the processes (i.e. calculate the random number lists)      
for j in jobs:
    j.start()

# Ensure all of the processes have finished
for j in jobs:
j.join()

print ("List processing complete.")

当我在“list_append”函数中添加一个打印语句后,结果发现没有打印任何内容,所以问题实际上不是j.join(),而是j.start() 位。

【问题讨论】:

  • 为什么你有单独的循环来创建、启动和加入进程?
  • @Corn3lius - 我实际上只是从我在网上找到的一个示例中复制和粘贴,否则我试图将它们从循环中取出,但是,我遇到了完全相同的问题。

标签: python-3.4 python-multiprocessing


【解决方案1】:

当您使用multiprocessing.Process 创建进程时,您准备了一个子函数以在不同的进程中异步运行。当您调用 start 方法时,计算开始。 join 方法等待计算完成。因此,如果您只是启动该进程并且不等待完成(或join),则不会发生任何事情,因为当您的程序退出时该进程将被终止。

这里,一个问题是您没有使用multiprocessing 中可共享的对象。当您使用普通的list() 时,每个进程将使用内存中的不同列表。当进程退出时,本地进程将被清除,主列表将为空。如果您希望能够在数据之间交换进程,您应该使用multiprocessing.Queue:

import random
import multiprocessing


def list_append(count, id, out_queue):
    """
    Creates an empty list and then appends a
    random number to the list 'count' number
    of times. A CPU-heavy operation!
    """
    for i in range(count):
        out_queue.put((id, random.random()))

if __name__ == "__main__":
    size = 10000   # Number of random numbers to add
    procs = 2   # Number of processes to create

    # Create a list of jobs and then iterate through
    # the number of processes appending each process to
    # the job list
    jobs = []
    q = multiprocessing.Queue()
    for i in range(0, procs):
        process = multiprocessing.Process(target=list_append,
                                          args=(size, i, q))
        process.start()
        jobs.append(process)

    result = []
    for k in range(procs*size):
        result += [q.get()]

    # Wait for all the processes to finish
    for j in jobs:
        j.join()

    print("List processing complete. {}".format(result))

请注意,如果您未正确计算在 out_queue 中返回的结果数量,此代码很容易挂起。
如果您尝试检索太多结果,q.get 将等待一个永远不会出现的额外结果。如果您没有从q 检索所有结果,您的进程将冻结,因为out_queue 将已满,out_queue.put 将不会返回。因此,您的进程将永远不会退出,您将无法加入它们。
如果您的计算是独立的,我强烈建议您查看更高级别的工具,例如Pool,或者甚至更强大的第三方库,例如joblib,因为它会为您处理这些方面的问题。 (see this answer for some insights on Process vs Pool/joblib)

我实际上减少了size 的数量,因为如果您尝试将许多对象放入Queue 中,程序会变慢。如果您需要传递大量小对象,请尝试将它们全部传递一遍:

import random
import multiprocessing


def list_append(count, id, out_queue):
    a = [random.random() for i in range(count)]
    out_queue.put((id, a))

if __name__ == "__main__":
    size = 10000   # Number of random numbers to add
    procs = 2   # Number of processes to create
    jobs = []
    q = multiprocessing.Queue()
    for i in range(0, procs):
        process = multiprocessing.Process(target=list_append,
                                          args=(size, i, q))
        process.start()
        jobs.append(process)
    result += [q.get() for _ in range(procs)]
    for j in jobs:
        j.join()
    print("List processing complete.")

【讨论】:

  • 我在你的第一个程序中的j.join() 之后添加了一个小打印语句,它已经运行了过去 20 分钟,没有空闲打印任何东西,有什么问题吗?
  • 此代码会出现一些死锁,使代码永远挂起。您应该确保从队列中检索到正确数量的结果(如果您尝试检索更多,它将挂起)。如果您没有从队列中检索到足够的结果,则队列可能已满,并且还会阻止您的进程退出。要调试,可以在result += [q.get()] 和out_queue.put((id, random.random())) 之后使用 print 语句来查看导致 yoru 程序冻结的原因。
  • 我在 result += [q.get()] 和 out_queue.put((id, random.random())) 之后放置了打印语句,但在 IDLE 中根本没有打印任何内容。
  • 这要么意味着您的进程没有启动,要么意味着您的random.random 行有问题。尝试放置而不是随机放置。如果这与随机有关,则可能是特定于操作系统的,我不知道可能是什么原因。
  • 此代码适用于我在 macOS Sierra python2.7 和 3.5 上。
猜你喜欢
  • 2022-06-21
  • 1970-01-01
  • 2015-10-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多