带有批处理 SQL 的 Java For 循环

Question

我有问题。现在我正在使用 JOOQ 使用以下代码在我的数据库中插入大约 100.000 条记录：

try (Connection conn = DriverManager.getConnection(SqlConn.getURL(), SqlConn.getUSERNAME(), SqlConn.getPASSWORD())) {
    DSLContext create = DSL.using(conn, SQLDialect.MYSQL);

    for (String key : trendlines.keySet()) {
        for (Trendline trendline : trendlines.get(key)) {
            String sql = createTrendlineQuery(trendline);
            create.fetch(sql);
        }
    }

}
catch (Exception e) {
    e.printStackTrace();
}

使用函数createTrendlineQuery()：

private String createTrendlineQuery(Trendline trendline) {

    return "INSERT INTO Trendline (openTime, market, coin, period, metric, number, slope, interceptY, percentage, formula, data) VALUES (" + 
    trendline.getOpenTime() + ", '" +
    trendline.getMarket() + "', '" +
    trendline.getCoin() + "', '" +
    trendline.getPeriod() + "', '" +
    trendline.getFormula() + "') " +
    "ON DUPLICATE KEY UPDATE " + 
    "openTime = " + trendline.getOpenTime() + ", " +
    "market = '" + trendline.getMarket()+ "', " +
    "coin = '" + trendline.getCoin() + "', " +
    "period = '" + trendline.getPeriod() + "', " +
    "formula = '" + trendline.getFormula() + "';";

}

但这给我的互联网/数据库带来了很大的负载，所以我发现你可以为大数据进行批量插入。我在 JOOQ 中找到了关于批量插入的以下页面：https://www.jooq.org/doc/3.14/manual/sql-execution/batch-execution/。现在我认为这是我需要的，但我有一个问题。这个例子在我的例子中看起来像这样：

try (Connection conn = DriverManager.getConnection(SqlConn.getURL(), SqlConn.getUSERNAME(), SqlConn.getPASSWORD())) {
    DSLContext create = DSL.using(conn, SQLDialect.MYSQL);

    create.batch(create.insertInto(DSL.table("Trendline"), DSL.field("openTime"), DSL.field("market"), DSL.field("coin")  ).values((Integer) null, null, null))
        .bind(                           trendline.getOpenTime() , trendline.getMarket() , trendline.getCoin()  )
        .bind(                           trendline.getOpenTime() , trendline.getMarket() , trendline.getCoin()  )
        .bind(                           trendline.getOpenTime() , trendline.getMarket() , trendline.getCoin()  )
        .bind(                           trendline.getOpenTime() , trendline.getMarket() , trendline.getCoin()  )
        .execute();

}
catch (Exception e) {
    e.printStackTrace();
}

除了我需要将 2 for-loops 放在 create.batch() 之间以编程方式创建插入。如何插入for loops，我是否使用了正确的批量插入方式来减少互联网流量和数据库压力？

Answer 1

使用BatchedConnection 作为快速修复

将现有 jOOQ 代码（或任何基于 JDBC 的代码，就此而言）转换为批处理 JDBC 交互的最简单解决方案是使用 jOOQ 的 BatchedConnection：

create.batched((Connection c) -> {
    // Now work with this Connection c, instead of your own Connection and all the statements
    // will be buffered and batched, e.g.
    DSL.using(c).insertInto(...).values(...).execute();
});

使用您尝试过的批处理 API

您只需将BatchBindStep 分配给循环中的局部变量即可：

BatchBindStep step = create.batch(query);

for (...) 
    step = step.bind(...);

step.execute();

使用导入 API

使用import API。假设你正在使用代码生成器并且你有通常的静态导入

import static org.jooq.impl.DSL.*;
import static com.example.generated.Tables.*;

这样写：

create.loadInto(TRENDLINE)
      .onDuplicateKeyUpdate()
      .loadArrays(trendlines
          .values()
          .stream()
          .map(t -> new Object[] { 
              t.getOpenTime(),
              t.getMarket(),
              t.getCoin(),
              t.getPeriod(),
              t.getFormula()
              /* And the other fields which you partially omitted */
          })
          .toArray(Object[][]::new)
      )
      .fields(
          TRENDLINE.OPENTIME,
          TRENDLINE.MARKET,
          TRENDLINE.COIN,
          TRENDLINE.PERIOD,
          TRENDLINE.FORMULA
          /* And the other fields which you partially omitted */
      )
      .execute();

另请参阅以下部分：

• Throttling（您可能希望使用这些值来找到最适合您系统的值）
• Error handling

可能会感兴趣。如果输入 Object[][] 变得太大，您可以手动分块输入 trendlines.values() 集合。如果按键排序你的地图真的很重要（我不应该从你的问题中看出），然后写这个：

trendlines
    .keySet()
    .stream()
    .flatMap(k -> trendlines.get(k).stream())
    .map(t -> new Object[] { ... })
    ...

对你自己的尝试的一些评论

• 您正在调用create.fetch(sql)，而实际上您的语句是一个带有更新计数的查询，因此在这种情况下，您可能希望改用create.execute(sql)。
• 请不要在使用 jOOQ 时连接 SQL 字符串！即使使用plain SQL templating、there is never a need for concatenating SQL strings。您将遇到语法错误和 SQL 注入。请始终使用绑定变量。
• 我真的推荐你使用 jOOQ 的代码生成器。当您使用代码生成器时，使用 jOOQ 的大部分好处就会出现。避免代码生成的正当理由包括当您的模式是动态的并且在运行时未知时。这几乎是不使用代码生成的唯一原因。