在面向读写块的过程中，Spring Batch 在哪里提交？

Question

在我的 java 项目中，我正在使用 Spring Boot 进行面向块的读取 (FlatFileItemReader) - 写入 (JdbcBatchItemWriter) 进程。使用HikariCp 数据源。

查看 Spring 批处理 jdbc 编写器，我们可以找到该部分：

               //some code
                @Override
                public int[] doInPreparedStatement(PreparedStatement ps) throws SQLException, DataAccessException {
                    for (T item : items) {
                        itemPreparedStatementSetter.setValues(item, ps);
                        ps.addBatch();
                    }
                    return ps.executeBatch();
                }
              //some code

所以基本上在这里，如果我的 Hikari 数据源的 setAutocommit 参数为 true，这意味着在 ps.executeBatch() 之后我的数据库将被更新。

这里的第一个问题，关于PreparedStatement.executeBatch() 它是如何处理的？它是提交每个 sql 语句还是在每个 sql 语句的末尾？

在setAutocommit参数为false的情况下，ps.executeBatch()之后不应更新。

由于 Spring 批处理应该管理事务和提交。我试图找到它在哪里提交，以便更好地理解我遇到的问题。期待ChunkOrientedTasklet、SimpleChunkProcessor 和TransactionTemplate我找不到它在提交过程中的哪个位置。

所以我的第二个问题是，Spring 批处理在面向块的过程中准确提交到哪里？

编辑：使用 Spring 批处理 3.0.7

EDIT ：似乎在AbstractPlatformTransactionManager.processCommit(DefaultTransactionStatus status) 中处理，但仍然无法理解如何处理。

Answer 1

您的自动提交参数无关紧要，Spring 将管理事物并在它认为合适的时候覆盖它（并且它确实认为它合适）。

您可以set the commit interval 定义您希望提交的频率。

你是否应该改变它完全取决于你打算如何批处理，你的执行是否会失败，是否应该跳过或重试这些情况以及其他类似的事情。

Answer 2

关于“何时提交？”的问题，Spring Batch docs：

5.1 面向块的处理

Spring Batch 在其最 共同实现。面向块的处理是指读取 一次一个数据，并创建将被写出的“块”， 在事务边界内。从 ItemReader 读入一项， 交给 ItemProcessor 并聚合。一旦物品数量 读取等于提交间隔，整个块通过 ItemWriter，然后事务被提交。

下面是上述相同概念的代码表示：

List items = new Arraylist();
for(int i = 0; i < commitInterval; i++){
    Object item = itemReader.read()
    Object processedItem = itemProcessor.process(item);
    items.add(processedItem);
}
itemWriter.write(items);

因此，如果您要使用 Spring Batch，则不应设置自动提交，因为这是您应该信任框架为您处理的事情。下面的部分显示了如何配置的示例：

5.1.1 配置步骤

尽管 Step 所需的依赖项列表相对较短， 它是一个极其复杂的类，可能包含许多 合作者。为了简化配置，Spring Batch 可以使用命名空间：

<job id="sampleJob" job-repository="jobRepository">
    <step id="step1">
        <tasklet transaction-manager="transactionManager">
            <chunk reader="itemReader" writer="itemWriter" commit-interval="10"/>
        </tasklet>
    </step>
</job>

上面的配置代表了唯一需要的依赖项 创建一个面向项目的步骤：

• reader - 提供要处理的项目的 ItemReader。

• writer - 处理 ItemReader 提供的项目的 ItemWriter。

• transaction-manager - Spring 的 PlatformTransactionManager，将用于在处理期间开始和提交事务。

• job-repository - JobRepository 将用于在执行期间定期存储 StepExecution 和 ExecutionContext 处理（就在提交之前）。对于在线（一个 在 a ) 中定义它是元素的一个属性； 对于独立步骤，它被定义为 .

• commit-interval - 在提交事务之前将处理的项目数。