Spring Batch - 如何使用一个读取其他步骤的作者的并行步骤？

Question

我对 Spring 批处理框架很陌生。

我在一项工作中创建了 2 个步骤（我们称它们为 Step1 和 Step2）。我想并行运行它们。不仅如此，Step2 的IteamReader 应该使用Step1 的ItemWriter。

也就是说，Step2 的 ItemReader 应该等待 Step1 的 ItemWriter 写入一个 chunk。 Step1 写入后，Steps2 开始读取并将其传递给其处理器并进一步传递。

我的第一个问题是，在 Spring Batch 中是否可以做到这一点？如果是，怎么做？

其次，如果这不可能，有什么办法可以解决？

谢谢。

Answer 1

您可以使用<split/> 来破解它，一次运行 2 个步骤。第 1 步将写入第 2 步可以读取的队列。这里的关键是确保您的第 2 步的阅读器在MessageConsumer 上有适当的超时，以便它可以等待足够长的时间让第 1 步将一个块写入队列。

<split id="splitStep" task-executor="asyncTaskExecutor" >
    <flow>
        Step 1: reader -> processor -> writer (to queue)
    </flow>
    <flow>
        Step 2: reader (from queue) -> processor -> final writer
    </flow>
</split>

也就是说，你有什么理由不能只使用复合处理器吗？

 Step 1: reader -> processor 1 -> processor 2 -> writer

或者更好的是，你需要分块吗？它可能是 Spring Integration 或其他东西的更好用例。

如果您确实需要分块，则可以改为破解您的阅读器以返回 List，然后使用复合处理器链接整个块的转换。

Reader: reads source, returns List<SourceItem>
Processor 1: List<SourceItem> in, perform transformations, List<TransformedItem> out
Processor 2: List<TransformedItem> in, additional transformations, List<FinalItem> out
Writer: List<List<FinalItem>> in, unpack the list, write to final destination

如果您要这样做，您将绕过框架通常的工作方式，因此您需要将提交间隔设置为 1（因为您只希望阅读器返回 1 个列表），而是确定块通过更改该列表中的项目数来调整阅读器的大小。