【问题标题】:Spring AMQP and Elasticsearch - aggregate messagesSpring AMQP 和 Elasticsearch - 聚合消息
【发布时间】:2014-10-07 08:35:13
【问题描述】:

我们在一些 RabbitMQ 队列上有一个消费者,它读取消息,然后在 Elasticsearch 中索引这些数据。实现是使用 spring-amqp 完成的。为了提高性能,我们计划在消费者级别聚合消息并在 Elasticsearch 中进行批量插入(这确实会提高性能)。

您对如何实现这一点有任何建议吗?此外,另一个敏感问题是如何处理响应。每条消息都有一个“reply_to”标头,我们使用带有回复通道的入站网关,因此对于每条消息,都应该传递一个响应。

我正在考虑使用 spring 集成中的聚合器,其发布策略基于批量大小和 MessageGroupStore 到期的时间段(当然还有收割者)。入站网关的任务执行器为 20,假设预取计数为 20。每当请求到来时,消息将被添加到组存储中,当 canRelease() 条件正常时,请求附带的线程之一的 reaper 将执行批量操作。但是我对其他线程所做的事情将不得不等待永远不会到来的响应。另外,我不知道如何打破对大的聚合消息的响应,以便每个小请求都会有响应。

另一个问题,我如何确认消息?从我读到的事务会降低 RabbitMQ 端的性能,所以我对使用“tx-size”属性并不满意。此外,如果超时太小,此属性可能会计算错误。

【问题讨论】:

  • 我找到的解决方案:用入站和出站通道适配器替换入站网关。通过入站通道适配器接收消息,链继续使用聚合器。从聚合器,服务激活器获取批量消息,它的工作和大响应被添加到响应通道上。在这里,我必须将大消息分解成较小的消息并手动确认消息。我还需要注意保留所有的 reply_to 标头。在获得所有小的响应消息后,我将它们提供给带有 routing-key-expression= headers["reply_to"] 的出站通道适配器。
  • 我真的不知道这是否可以用 SI 和 spring-amqp 完成。我必须以某种方式丰富聚合消息的标题或在聚合方法中手动构建它们。

标签: elasticsearch rabbitmq aggregate spring-integration spring-amqp


【解决方案1】:

关于消费者和聚合者问题的答案:

使用来自 AMQP 的消息并聚合的配置。 聚合策略基于 Transction 提交:

<amqp:inbound-channel-adapter queue-names="myQueue"
                                  transaction-manager="transactionManager"
                                  channel-transacted="true"
                                  channel="aggregateChannel"
                                  advice-chain="aggregatorReaperAdvice"
                                  concurrent-consumers="4"
                                  tx-size="100"/>

<aggregator input-channel="aggregateChannel" output-channel="storeChannel"
                expire-groups-upon-completion="true"
                correlation-strategy-expression="T(Thread).currentThread().id"
                release-strategy-expression="^[payload.equals(@AGGREGATOR_RELEASE_MARK)] != null"
                expression="?[!payload.equals(@AGGREGATOR_RELEASE_MARK)].![payload]"/>

ReaperAdvice(Groovy 代码):

@Service
class AggregatorReaperAdvice implements MethodBeforeAdvice, InitializingBean {

    private static final TRANSACTION_RESOURCE_MARK = 'TRANSACTION_RESOURCE_MARK'

    public static final AGGREGATOR_RELEASE_MARK = 'AGGREGATOR_RELEASE_MARK'

    MessagingTemplate messagingTemplate

    @Autowired
    MessageChannel aggregateChannel

    @Override
    void afterPropertiesSet() throws Exception {
        Assert.notNull aggregateChannel, "aggregateChannel must not be null"
        messagingTemplate = new MessagingTemplate(aggregateChannel)
    }

    @Override
    void before(Method method, Object[] args, Object target) {
        if (!TransactionSynchronizationManager.hasResource(AggregatorReaperAdvice)) {
            TransactionSynchronizationManager.bindResource(AggregatorReaperAdvice, TRANSACTION_RESOURCE_MARK)
            TransactionSynchronizationManager.registerSynchronization(new TransactionSynchronizationAdapter() {

                @Override
                void beforeCommit(boolean readOnly) {
                    messagingTemplate.send(MessageBuilder.withPayload(AGGREGATOR_RELEASE_MARK).build())
                }

                @Override
                void afterCompletion(int status) {
                    TransactionSynchronizationManager.unbindResource(AggregatorReaperAdvice)
                }

            })
        }
    }
}

如果不清楚,请告诉我。

所有其他问题,将很快得到解决。

对于manual ack,您可以在最后一个deliveryTag 上使用channel.basicAck(deliveryTag, true); - 到ack 来获取所有以前的消息。

对于headers["reply_to"] 案例...我认为您应该为aggregator 提供自定义AbstractAggregatingMessageGroupProcessor 并杀死两只鸟:聚合器和迭代MessageGroup.getMessages() 的累积结果以发送它们中的每一个以进行回复处理到提供的MessageChannel。这是您的案例的快速解决方案。

类似但更松散耦合的解决方案可能基于聚合器及其MessageGroupStore 的结果,您在其中提取correlationKey 以检索组及其消息以执行所需的reply 逻辑。在这种情况下,您不应使用聚合器从存储中删除组,而应在该组检索后手动删除。

【讨论】:

  • 您好,Artem。非常感谢您的回复。所以从我的理解来看,我的想法对你来说还不错:d。正如您正确提到的,AggregatorReaperAdvice 代码对我来说并不是很清楚。你能解释一下这里的交易点吗?由于以下情况,我不喜欢设置 tx-size。如果我有 prefetch-count=tx-size=100(prefetch0count
  • 好吧,我的AggregatorReaperAdvice 应用于Listener 进程,它将在TX 内。它注册TXSync,它与TX 绑定,并且人工聚合器release 发送一些MARK 消息。有了这个,我在 TX 内准确地聚合了 tx-size 消息或更少。由于您担心 RAM,您可以使用 tx-size 和 concurency。因此,不会有比您允许的更多的侦听器进程。您应该确保在该侦听器线程中执行其他下游流以阻止它并且不允许启动新的侦听器任务。
  • 抱歉我坚持了,但我还有 3 个问题。 1)基于线程ID的关联策略有什么好处?如果有 4 个消费者,我将有 1 个 SimpleMessageStore 和 4 个 SimpleMessageGroup。 2)如果抛出异常,事务将回滚。如果我用服务激活器配置了一个错误通道(我们总是返回一个响应,说明抛出了什么异常并且我们不想重新传递消息),我还会在这里收到 failedMessage 吗?我不确定,但是我认为该消息将被重新排队。
  • 3) 我怎样才能实现在不同的回复通道上返回响应的机制,也许是 Rabbit 队列,用于成功操作和失败操作?我正在考虑在原始消息中有两个标题,一个用于 successful_reply_to,另一个用于 errors_reply_to
  • 1) 是的。 2) 不,仅当您从该错误通道服务激活器重新抛出异常时,TX 才会回滚。 3) 我想说只有一个reply_to 标头就足够了,但是根据逻辑构建目标routing_key - 成功或错误。
猜你喜欢
  • 1970-01-01
  • 2017-01-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-02-17
  • 2012-12-19
  • 1970-01-01
相关资源
最近更新 更多