在春季批处理异步处理器中重试

Question

我们正在构建一个 Spring Batch，它在 Spring Batch 的处理器部分调用第三方 API

要求是当第 3 方 API 不可用时，spring 批处理需要重新尝试指定的阈值限制并中止批处理

我已经尝试使用容错步骤进行弹簧批处理重试，它在单线程程序中运行良好，但是当我们包含 aysncprocessor 和 aysncitemwriter 时并没有停止批处理

https://github.com/mminella/LearningSpringBatch/blob/master/src/asyncItemProcessorItemWriter/src/main/java/io/spring/batch/configuration/JobConfiguration.java

请给我一些重试限制/自定义代码示例，说明如何使用 aysncprocessor / asyncitemwriter 在出现任何异常时退出

更新 1-： 我尝试使用 100 的块大小和 5 个 aysnc 线程，重试限制为 3，我看到很少有记录只处理两次，很少处理三次，最后作业失败，ExhaustedRetryException

这是 Spring 批处理的预期行为吗？

更新 2：- 我在论坛上看到很多关于 spring retry 的帖子 spring retry 和 faultTolerant (Spring Batch) step retry 之间的确切区别是什么？

Answer 1

Sync 和 Async 均可配置重试，但有区别

• 为了观察这一点，将chunk 的大小减小到 2
• 当它是Async时，它会提交块中的每个项目（在这种情况下是2，假设两个项目在处理过程中都抛出异常），然后它会再次重试这两个项目，它会做3（@ 987654325@) 轮。

    @Bean
    public Step step1() throws Exception {
        return stepBuilderFactory.get("step1")
                .chunk(2)
                .reader(pagingItemReader())
                .processor(asyncItemProcessor())
                .faultTolerant().retryLimit(3)
                                .retry(YourException.class)
                .writer(asyncItemWriter())
                .build();
    }

总结：

• 当您使用synchronous 处理器时，块中的项目将按顺序处理。因此，当一项失败时，根据retryLimit 仅重试该项
• 当您使用asynchronous 处理器时，该块中的项目将并行处理。因此，当其中一个或多个项目失败时，所有这些项目都会根据retryLimit 重试 3 次