生成器生成的 Python 3 队列，由多进程使用

Question

我有一个生成器，可以生成超过 1 万亿个字符串，我想把它们放在一个队列中，让一个工作池来消费队列。但是，我负担不起将全部 1 万亿个字符串放在内存中并将它们映射到线程。

发电机很快，消费工人不是。我需要将队列的长度保持在一定水平，以免破坏我的记忆。这意味着我需要想办法暂停并重新开始喂食队列。

谁能提供一个提示，或者如何在 Python 3.4 中完成这项任务？

Answer 1

您可以指定队列的最大大小：

q = queue.Queue(10)   # max size of the queue is 10

当队列达到最大大小时，新插入将阻塞，直到项目从队列中删除。

您的生成器线程可以生成项目并将它们放入队列中。如果它远远领先于消费者线程，它将阻塞。

while not done:
   e = generate next item
   q.put(e)         # will block if queue is full

见：

https://docs.python.org/3/library/queue.html

了解更多信息。