ActiveMQ 中基于内容的消费者优先级

Question

我正在与需要加载大量资源来处理消息内容的消费者合作。同一家族中的消息需要相同的资源。

我尝试使用消息分组来确保将同一家族中的消息提供给已加载资源的消费者。但是，我希望消费者优先处理同一家族中的消息，而不是排他性（加载资源需要时间，处理消息需要更长的时间）。例如，如果消费者 1 和 2 可用，则 ID 为 group1 的消息应始终提供给消费者 1，而 ID 为 group2 的消息应始终提供给消费者 2。如果只有消费者 2 可用，则它应该消费任何信息。这样一来，消费者 1 对消息 group1 具有优先权，但没有排他性。同样，消费者 2 对消息 group2 具有优先权，但没有排他性。

有没有办法让 AMQ 中的消息分组不给消费者排他性？还是一种根据内容动态设置消费者优先级的方法？

我正在使用 ActiveMQ 5.16.2，但如果需要，我可以切换到 Artemis。

Answer 1

消息分组的全部意义在于序列化消息的消费。最简单的方法是确保组中的所有消息都分派给同一个使用者。因此，消息分组不可能不赋予消费者排他性，因为这首先会破坏分组的目的。也就是说，单个消费者可以同时接收来自多个组的消息。当群组多于消费者时，就会发生这种情况。

还值得注意的是，您无法控制哪个消费者消费哪个组。分组的重点只是 一个 消费者从组中获取消息，而不是 哪个 一个。

消费者优先级由消费者自己设置，如the documentation 所述。它不是基于正在发送的消息的内容。

您可以尝试在消息上设置一个属性来反映他们所在的“家庭”，然后您的消费者可以使用选择器来使用他们关心的消息。

请记住，您的客户端应用程序中始终可以有多个消费者。每个客户端可能有两个消费者 - 一个具有选择器的高优先级消费者，然后是一个没有选择器的低优先级消费者。代理将优先使用选择器的消费者，但如果没有匹配，它将向没有选择器的消费者发送消息。

Answer 2

在这个用例中，我建议过滤消息组。我认为您正在寻求对消息流进行分区，其中消息组提供的竞争消费者 模式不能满足您的需求。如果您要求这些流由特定的消费者处理，那么您最终希望让该消费者拥有一个 HA 备用或并行消费者 - 这将是划分或过滤流量的额外驱动程序。

有两种方法 - 您可以使用虚拟目标（通过具有过滤功能的 CompositeQueue 等）进行服务器驱动的配置，或者使用虚拟主题和选择器进行客户端驱动的配置。

这是客户驱动的方法。

1. 发布到虚拟主题（即 topic://VT.ORDER.EVENT）
2. 从虚拟消费者队列中消费（即 queue://VQ.APP1.VT.ORDER.EVENT，queue://VQ.APP2.VT.ORDER.EVENT）
3. 让消费者与选择器连接

每组消息都会到达自己的队列，每个队列可以有 1 .. n 个消费者。

奖励：您仍然可以让消费者通过注册通配符选择器或直接订阅主题来监控完整的流量。

<destinationInterceptors> 
  <virtualDestinationInterceptor> 
    <virtualDestinations> 
      <virtualTopic name="VT.>" prefix="VQ.*." selectorAware="true"/>   
    </virtualDestinations>
  </virtualDestinationInterceptor> 
</destinationInterceptors>

持久化选择器：

<plugins>
  <virtualSelectorCacheBrokerPlugin persistFile="<some path>${activemq.data}/virtual-topic-selectorcache.data" />
</plugins>

参考：Virtual Topics