Spring批处理在同一张表中读/写

Question

我有 spring 批处理应用程序，它可以读取和写入同一个表。由于我的数据量很大，所以我使用分页来读取表格中的项目。当我将块大小设置为大于 1 时，我的分页号会错误地更新，因此无法从表中读取某些项目。 有什么想法吗？

@Bean
      public Step fooStep1() {
        return stepBuilderFactory.get("step1")
            .<foo, foo>chunk(chunkSize)
            .reader(fooTableReader())
            .writer(fooTableWriter())
            .listener(fooStepListener())
            .listener(chunkListener())
            .build();
      }

读者

 @Bean
 @StepScope
 public ItemReader<foo> fooBatchReader(){
    NonSortingRepositoryItemReader<foo> reader = new NonSortingRepositoryItemReader<>();
    reader.setRepository(service.getRepository());
    reader.setPageSize(chunkSize);
    reader.setMethodName("findAllByStatusCode");
    List<Object> arguments = new ArrayList<>(); 
    reader.setArguments(arguments);
    arguments.add(statusCode);
    return reader;
}

Answer 1

不要使用分页阅读器。问题是，这个阅读器对每个块执行一个新查询。因此，如果您在写入过程中在同一个表中添加项目或更改项目，查询将不会产生相同的结果。

深入了解分页阅读器的代码，那里很明显。

如果您修改您正在读取的同一个表，那么您必须确保您的结果集在整个步骤的处理过程中不会发生变化，否则您的结果可能无法预测并且很可能不是您想要的.

尝试使用 jdbccursoritemreader。这会在您的步骤开始时创建查询，因此，结果集是在开始时定义的，并且在步骤处理期间不会更改。

编辑

根据您添加的阅读器配置代码，我假设有几件事：

1. 这不是标准的 springbatch 项目阅读器

2. 您正在使用一种名为“findAllByStatusCode”的方法。我假设，这是在写入过程中更新的状态字段

3. 您的 Reader-Class 被命名为“NonSortingRepositoryItemReader”，因此，我假设您的结果列表中没有保证排序

如果 3 是正确的，那么这很可能是问题所在。如果不能保证元素的顺序，那么使用分页阅读器肯定行不通。 每个页面都执行它自己的选择，然后将指针移动到结果中的适当位置。

例如，如果您的页面大小为 5，则第一次调用将返回其选择的元素 1-5，第二次调用将返回其选择的元素 6-10。但是由于不能保证顺序，第一次调用中位置 1 的元素可能在第二次调用中位于位置 6，因此被处理 2，而第一次调用中的元素 6 在第二次调用中可能位于位置 2，因此从未被处理过。