【发布时间】:2014-10-07 08:35:13
【问题描述】:
我们在一些 RabbitMQ 队列上有一个消费者,它读取消息,然后在 Elasticsearch 中索引这些数据。实现是使用 spring-amqp 完成的。为了提高性能,我们计划在消费者级别聚合消息并在 Elasticsearch 中进行批量插入(这确实会提高性能)。
您对如何实现这一点有任何建议吗?此外,另一个敏感问题是如何处理响应。每条消息都有一个“reply_to”标头,我们使用带有回复通道的入站网关,因此对于每条消息,都应该传递一个响应。
我正在考虑使用 spring 集成中的聚合器,其发布策略基于批量大小和 MessageGroupStore 到期的时间段(当然还有收割者)。入站网关的任务执行器为 20,假设预取计数为 20。每当请求到来时,消息将被添加到组存储中,当 canRelease() 条件正常时,请求附带的线程之一的 reaper 将执行批量操作。但是我对其他线程所做的事情将不得不等待永远不会到来的响应。另外,我不知道如何打破对大的聚合消息的响应,以便每个小请求都会有响应。
另一个问题,我如何确认消息?从我读到的事务会降低 RabbitMQ 端的性能,所以我对使用“tx-size”属性并不满意。此外,如果超时太小,此属性可能会计算错误。
【问题讨论】:
-
我找到的解决方案:用入站和出站通道适配器替换入站网关。通过入站通道适配器接收消息,链继续使用聚合器。从聚合器,服务激活器获取批量消息,它的工作和大响应被添加到响应通道上。在这里,我必须将大消息分解成较小的消息并手动确认消息。我还需要注意保留所有的 reply_to 标头。在获得所有小的响应消息后,我将它们提供给带有 routing-key-expression= headers["reply_to"] 的出站通道适配器。
-
我真的不知道这是否可以用 SI 和 spring-amqp 完成。我必须以某种方式丰富聚合消息的标题或在聚合方法中手动构建它们。
标签: elasticsearch rabbitmq aggregate spring-integration spring-amqp