什么时候需要 Queue.join()？

Question

Python 3 文档给出了一个使用队列 (https://docs.python.org/3/library/queue.html) 的工作线程示例：

def worker():
    while True:
        item = q.get()
        if item is None:
            break
        do_work(item)
        q.task_done()

q = queue.Queue()
threads = []
for i in range(num_worker_threads):
    t = threading.Thread(target=worker)
    t.start()
    threads.append(t)

for item in source():
    q.put(item)

# block until all tasks are done
q.join()

# stop workers
for i in range(num_worker_threads):
    q.put(None)
for t in threads:
    t.join()

在这个例子中，为什么需要q.join()？后续的q.put(None) 和t.join() 操作是否完成了阻塞主线程直到工作线程完成的相同事情？

Answer 1

这是我对示例的理解。

每个工人无限循环，总是从队列中寻找新的东西。如果它获得的项目是None，它会中断并将控制权返回给main。

所以，首先我们让程序等待队列为空。每次调用q.task_done() 都会将新项目标记为完成。代码挂在下面，所以我们确保每个项目都标记为完成。

# block until all tasks are done
q.join()

然后，在下面，我们将与工作人员数量相同的 None 项目添加到队列中（因此我们确保每个工作人员都获得一个。）

for i in range(num_worker_threads):
    q.put(None)

接下来，我们加入所有线程。由于我们通过队列给了每个工人一个None 项目，他们都会中断。直到他们都打破并返回控制权，我们想挂在这里。

for t in threads:
    t.join()

这样做，我们确保队列中的每一项都得到处理，当队列为空时，每个工作人员都会中断，并且在我们继续编写代码之前关闭每个工作人员，从而有助于避免孤儿进程。