【问题标题】:Handle parallel async operations with futures in Spring App在 Spring App 中使用期货处理并行异步操作
【发布时间】:2021-07-07 17:23:53
【问题描述】:

我有一个包含 +1M 条目的数据库,我正在以块的形式查询数据库(比如说 chunkSize = 1000)。

迭代这 1000 个块,我想为每个实体向 rabbitMQ 发布一条消息,将这个块的所有期货收集到一个数组/列表中。

等待这个futures数组,直到所有futures都完成/失败,然后将这个1000的数组过滤成两个新列表(successList,failureList),然后为mongoDB准备两个bulkUpdate操作,执行两个ops。

我必须逐块等待,否则下一次迭代(用于获取数据库实体)将重新读取已在进行中的实体。

PS:我最初的假设是在列表中使用 CompletableFutures(我会在 Javascript 中做同样的事情,不确定 java 是否有其他方法)

【问题讨论】:

    标签: algorithm spring-boot rabbitmq spring-rabbit completable-future


    【解决方案1】:

    正如this answer 中所述,Spring AMQP 允许您在 CorrelationData 中等待 Future 以获取发布消息的结果。您无需发明自己的机制。

    如果您想存储有关发送的更多信息,您始终可以继承 CorrelationData

    【讨论】:

    • 谢谢加里,我明白了。你帮了大忙!
    猜你喜欢
    • 1970-01-01
    • 2014-06-15
    • 1970-01-01
    • 2019-10-16
    • 1970-01-01
    • 2018-01-19
    • 1970-01-01
    • 2015-11-22
    • 1970-01-01
    相关资源
    最近更新 更多