【问题标题】:Batch insert using jdbcTemplate.batchUpdate confusion使用 jdbcTemplate.batchUpdate 混淆批量插入
【发布时间】:2019-11-18 20:21:41
【问题描述】:

jdbcTemplate.batchUpdate 是否在数据库服务器上执行多个单插入语句 1 个多值列表插入?

我知道它会立即将完整的查询有效负载发送到服务器,但不确定如何执行。

有人可以解释/帮助吗?

【问题讨论】:

  • JdbcTemplate 中有 5 种不同的 batchUpdate 方法。他们可能会以 5 种不同的方式进行操作,那么您要问的是哪一种?
  • 我很好奇int[] org.springframework.jdbc.core.JdbcTemplate.batchUpdate(String sql, List<Object[]> batchArgs, int[] argTypes)
  • 您已经知道它会发送整个有效负载?你是什​​么意思。如果数据库支持,批处理最终意味着 1 个具有多个值的 INSERT 语句!
  • @M.Deinum 不正确。 批处理意味着将多个请求一起发送到数据库。通常,这意味着 1 个语句,该语句的多组参数,但您也可以批处理多个语句,否则 jdbcTemplate.batchUpdate(String... sql) 和它调用的底层 statement.addBatch(String sql) 有什么用?
  • 那是JDBC端,不是服务器端。 JDBC 驱动程序如何实现这一点,不一定是 DB 服务器如何执行它。例如,对于 MySQL,驱动程序需要单个 INSERT INTO ... VALUES () 语句,驱动程序会将其重写为 1 个单个 INSERT INTO ... VALUES(), VALUES() 语句。

标签: java mysql jdbc spring-jdbc


【解决方案1】:

来自问题:

jdbcTemplate.batchUpdate 是否在数据库服务器上执行多个单插入语句 1 个多值列表插入?

来自comment

我很好奇int[] org.springframework.jdbc.core.JdbcTemplate.batchUpdate(String sql, List<Object[]> batchArgs, int[] argTypes)

TL;DR: 它执行 1 个多值列表。


Spring Framework 是开源的,因此很容易查看源代码并了解实际情况。

batchUpdate(String sql, List<Object[]> batchArgs, final int[] argTypes)

@Override
public int[] batchUpdate(String sql, List<Object[]> batchArgs, final int[] argTypes) throws DataAccessException {
    if (batchArgs.isEmpty()) {
        return new int[0];
    }

    return batchUpdate(
            sql,
            new BatchPreparedStatementSetter() {
                @Override
                public void setValues(PreparedStatement ps, int i) throws SQLException {
                    Object[] values = batchArgs.get(i);
                    int colIndex = 0;
                    for (Object value : values) {
                        colIndex++;
                        if (value instanceof SqlParameterValue) {
                            SqlParameterValue paramValue = (SqlParameterValue) value;
                            StatementCreatorUtils.setParameterValue(ps, colIndex, paramValue, paramValue.getValue());
                        }
                        else {
                            int colType;
                            if (argTypes.length < colIndex) {
                                colType = SqlTypeValue.TYPE_UNKNOWN;
                            }
                            else {
                                colType = argTypes[colIndex - 1];
                            }
                            StatementCreatorUtils.setParameterValue(ps, colIndex, colType, value);
                        }
                    }
                }
                @Override
                public int getBatchSize() {
                    return batchArgs.size();
                }
            });
}

可以看出,它调用了下面的方法。

batchUpdate(String sql, final BatchPreparedStatementSetter pss)

@Override
public int[] batchUpdate(String sql, final BatchPreparedStatementSetter pss) throws DataAccessException {
    if (logger.isDebugEnabled()) {
        logger.debug("Executing SQL batch update [" + sql + "]");
    }

    int[] result = execute(sql, (PreparedStatementCallback<int[]>) ps -> {
        try {
            int batchSize = pss.getBatchSize();
            InterruptibleBatchPreparedStatementSetter ipss =
                    (pss instanceof InterruptibleBatchPreparedStatementSetter ?
                    (InterruptibleBatchPreparedStatementSetter) pss : null);
            if (JdbcUtils.supportsBatchUpdates(ps.getConnection())) {
                for (int i = 0; i < batchSize; i++) {
                    pss.setValues(ps, i);
                    if (ipss != null && ipss.isBatchExhausted(i)) {
                        break;
                    }
                    ps.addBatch();
                }
                return ps.executeBatch();
            }
            else {
                List<Integer> rowsAffected = new ArrayList<>();
                for (int i = 0; i < batchSize; i++) {
                    pss.setValues(ps, i);
                    if (ipss != null && ipss.isBatchExhausted(i)) {
                        break;
                    }
                    rowsAffected.add(ps.executeUpdate());
                }
                int[] rowsAffectedArray = new int[rowsAffected.size()];
                for (int i = 0; i < rowsAffectedArray.length; i++) {
                    rowsAffectedArray[i] = rowsAffected.get(i);
                }
                return rowsAffectedArray;
            }
        }
        finally {
            if (pss instanceof ParameterDisposer) {
                ((ParameterDisposer) pss).cleanupParameters();
            }
        }
    });

    Assert.state(result != null, "No result array");
    return result;
}

可以看出,它创建了一个PreparedStatement,进入循环调用addBatch(),最后调用executeBatch()

所以,简短的回答是:1 个多值列表

完整的答案是它可能向数据库服务器发送一条 SQL 语句和一个多值列表,但是它完全取决于 JDBC 驱动程序如何实际实现批处理,主要受限于通信协议支持什么,因此确定的唯一方法是跟踪与服务器的通信。

【讨论】:

  • 经过一些测试,我发现不同的结果取决于连接字符串中的 rewriteBatchedStatements = true 属性。对于相同的代码,在 sql 常规日志with rewriteBatchedStatements = false SET autocommit=0 insert into.... insert into.... insert into.... commit with rewriteBatchedStatements = true SET autocommit=0 insert into....values (),(),() commit 中得到以下信息
猜你喜欢
  • 2014-10-07
  • 2016-04-19
  • 2017-01-10
  • 2020-09-21
  • 1970-01-01
  • 2018-07-15
  • 1970-01-01
  • 2021-04-16
  • 2019-08-05
相关资源
最近更新 更多