基于rabbitMQ的分布式Java系统

Question

假设我有 100 台物理服务器。他们每个人都运行一个java进程。我们有一个全局 rabbitMQ 队列。该队列在所有 100 个进程之间共享。换句话说，我需要 100 个 JVM 中的每一个都监听这个全局队列。 第一个问题是可以做到吗？ 第二个问题是如果可能的话，如何将消息从全局队列分派到 100 个节点，并确保负载按比例分配，这样我们就不会出现一个节点加载到 100%，其他 99 个到0.0005%。

每个节点都有最小和最大容量。所以理想情况下，一个 JVM 应该询问队列它有多少项目。然后抓取所需数量的物品，直到它的最大容量。上面提到的 100 个中的每个 JVM 都应该这样做。那么如何同步队列呢？它如何让某些机器上的 spring amqp 知道该项目已准备好进行处理？如何平衡负载？谢谢

Answer 1

这对我来说听起来像是分片。我没用过，不过现在 RabbitMQ 上有一个分片插件。 https://github.com/rabbitmq/rabbitmq-sharding

Answer 2

第一个问题是可以吗？

是的，没有问题。

如何将消息从全局队列分派到 100 个节点并制作 确保负载将按比例分配，所以我们不会 得到一个节点加载到 100% 和其他 99 到的情况 0.0005%。

RabbitMQ 在同一队列上的消费者之间进行循环：RabbitMQ will send each message to the next consumer, in sequence。要限制发送给消费者的消息数量，可以使用consumer prefetch，并根据节点的最大容量设置QoS。因此，只要节点尚未达到其 QoS，RabbitMQ 就会将消息推送到节点。它的最大容量即。未确认消息的数量低于此阈值。

所以节点不需要知道队列中包含消息，消息会被推送到节点：

1. 只要未达到 QoS 阈值，消息就会被推送到节点。
2. 消息被放入本地队列
3. 一旦有 worker 可用，worker 就会接收消息并处理它
4. Worker 完成进程后确认消息
5. 由于消息已确认，当前未确认的消息低于 QoS 阈值，循环到 1)。

见：

• worker tutorial 关于循环和公平调度。
• 如何明智地设置预取Some queuing theory: throughput, latency and bandwidth