为 Pub Sub 保留源订单生成事件的 Spring Batch 作业答案

【问题标题】：A SpringBatch job to produce events for a PubSub preserving source order为 Pub Sub 保留源订单生成事件的 Spring Batch 作业
【发布时间】：2021-04-15 17:58:07
【问题描述】：

我正在考虑创建一个 SpringBatch 作业，该作业使用表中的行来创建事件并将事件推送到 PubSub 实现。这里的问题是事件的顺序应该与用作事件创建过程源的表中的行的顺序相同。

现在在我看来，SpringBatch 并不是为这样的订单持久性而设计的，因为批次是经过处理然后并行编写的。对于这个问题，唯一丑陋但可能可行的解决方案是在阅读器中进行所有处理（因此阅读器可以对 PubSub 进行阅读+处理+写入），这可能有助于保持分页批次内的顺序，但即使这样也没有t 似乎保证批次顺序，根据the doc

任何想法如何使用 SpringBatch 或至少使用 SpringBoot 实现转换 ordered rows->ordered events？提前谢谢！

【问题讨论】：

标签： spring events spring-batch publish-subscribe

【解决方案1】：

现在在我看来，SpringBatch 并不是为这样的订单持久性而设计的，因为批处理是并行处理然后写入的。

这仅适用于多线程或分区步骤。默认（单线程）面向块的步骤实现以项目阅读器返回的相同顺序处理项目。因此，如果您让数据库阅读器按您想要的顺序返回项目，这些项目将以相同的顺序写入您的 Pub/Sub 代理。

【讨论】：

感谢您的回答！我现在看到，当我担心并行项目处理时，我对分区方法感到困惑。