【发布时间】:2021-07-07 17:23:53
【问题描述】:
我有一个包含 +1M 条目的数据库,我正在以块的形式查询数据库(比如说 chunkSize = 1000)。
迭代这 1000 个块,我想为每个实体向 rabbitMQ 发布一条消息,将这个块的所有期货收集到一个数组/列表中。
等待这个futures数组,直到所有futures都完成/失败,然后将这个1000的数组过滤成两个新列表(successList,failureList),然后为mongoDB准备两个bulkUpdate操作,执行两个ops。
我必须逐块等待,否则下一次迭代(用于获取数据库实体)将重新读取已在进行中的实体。
PS:我最初的假设是在列表中使用 CompletableFutures(我会在 Javascript 中做同样的事情,不确定 java 是否有其他方法)
【问题讨论】:
标签: algorithm spring-boot rabbitmq spring-rabbit completable-future