树中生产者和消费者的队列答案

【问题标题】：Queue for producers and consumers in a tree树中生产者和消费者的队列
【发布时间】：2009-10-02 19:26:17
【问题描述】：

我正在阅读如何利用 Python 队列在节点之间发送和接收短消息。我正在模拟一组处于良好树结构中的节点。我希望其中一些节点向其父节点发送固定大小的数据。一旦这个父节点从它的一些子节点接收到数据，它就会“处理”它并向它的父节点发送一个“聚合”数据包......等等。

为此，有人告诉我队列对于传递消息很有用，并且快速阅读它告诉我它会满足我的需要。但是，我发现实现基本设置和测试我的理解有点困难——1 个生产者（生成消息包）和 1 个消费者（使任务出列并处理它的工作线程）。

我在这里和其他地方搜索并阅读了许多帖子......并且我了解所有队列方法。我仍然不明白的是如何将队列关联或绑定到 2 个给定节点。

我希望 node-1 和 node-2 向 node-3 发送消息。对于这个基本场景，我必须以某种方式创建一个（或 2 个）队列并将其与节点 1 和节点 2“关联”，节点 2 使用它将消息放入节点 3。而且，node-3 还必须与此队列“侦听”/“关联”才能“获取”或出列任务。

如果 node-1 和 node-2 要成为“生产者”，我应该将它们作为 2 个单独的线程，而 node-3 是第三个线程。然后，我必须创建一个队列 Q。然后，我应该让 node-1 和 node-2 创建消息，将它们“放入”队列中。必须“以某种方式”通知/唤醒 Node-3 才能从 Q 中“获取”这些消息并对其进行处理。

见过

http://docs.python.org/library/queue.html#module-Queue

这是我目前拥有的（未经测试的）代码：

================================================ ===================

import threading
import queue

q = Queue.Queue(2)   # create a queue of size 2.

# worker is node-3 which received msgs from 1 and 2 and fuses them.
def worker():
    while True:
        msg = q.get()
        fuse_msgs(msg)
        q.task_done()

# generate 3 worker threads. Node-3 could be both a producer and consumer. Each
# thread represents each node that will be a potential producer/consumer or both.
# need something like t1 - thread-1 for node-1 ...

for i in range(3):
     t = Thread(target=worker)
     t.setDaemon(True)
     t.start()

# How can I make node-1 and node-2 to put items into a specified queue???



for msg in source():
    q.put(item)

q.join()

===========================================

我的方向正确吗？请让我知道我错在哪里以及我误解了什么......

感谢任何帮助。我有数百个节点和链接。如果我把这个基础弄明白了，我就能顺利地继续前进……

谢谢， B.R.斯里尼。

【问题讨论】：

“又一个问题”完全没用。请总结您的实际问题，以便其他人可以从您的问题和您选择的答案中学习。

标签： python queue

【解决方案1】：

我没有特别评论 python 代码，但就您的队列设计而言，您所描述的节点 1、2、3 场景中似乎只需要一个队列。基本上，您有一个队列，节点 1 和节点 2 将消息放入其中，节点 3 从中读取。

您应该能够告诉节点 3 对队列进行“阻塞”获取，因此它只会等到它看到一条消息供其处理，然后让节点 1 和 2 以最快的速度产生输出尽可能。

根据每个节点的处理速度和您期望的流量模式，您可能需要一个比 2 条消息更深的队列，这样生产节点就不必等待队列耗尽。

【讨论】：