JDBC批量插入Oracle不工作

Question

我正在使用 JDBC 的批处理来插入一百万行。我遇到了 Oracle 驱动程序无法按预期工作 - 批量插入需要很长时间才能工作。 我决定用 Wireshark 嗅探应用程序的流量。我看到了什么？

• Oracle JDBC 驱动发送第一个请求 (1)
• 然后它发送数据 (2)，大约 2500 行
• oracle 服务器响应一些包 (3)
• 现在所有剩余的数据都将通过一对一的插入发送，不是批处理！
  • insert into my_table...
  • insert into my_table...

为什么会这样？我该如何解决这个问题？

表格

create table my_table (val number);

代码

import java.math.BigDecimal;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class scratch_1 {

    @Test
    public void foo() throws SQLException {
        String sql = "insert into my_table (val) values (?)";

        try (Connection con = getConnection()) {
            con.setAutoCommit(false);
            try (PreparedStatement ps = con.prepareStatement(sql)) {

                for (long i = 0; i < 100_000; i++) {
                    ps.setBigDecimal(1, BigDecimal.valueOf(i));

                    ps.addBatch();
                }

                ps.executeBatch();
                ps.clearBatch();
            }
            con.commit();
        }
    }

    private Connection getConnection() throws SQLException {
        String url = "jdbc:oracle:thin:@localhost:1521:orcl";
        String user = "my_user";
        String password = "my_password";
        return java.sql.DriverManager.getConnection(url, user, password);
    }
}

Wireshark 代码来说明发生了什么：

环境

$ java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

Oracle Database 12.2.0.1 JDBC Driver

服务器：Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit

多次运行查询没有帮助 - 结果相同。 250k 行“批次”插入465s

在服务器端v$sql:

SELECT *
FROM
  (SELECT REGEXP_SUBSTR (sql_text, 'insert into [^\(]*') sql_text,
    sql_id,
    TRUNC(
    CASE
      WHEN SUM (executions) > 0
      THEN SUM (rows_processed) / SUM (executions)
    END,2) rows_per_execution
  FROM v$sql
  WHERE parsing_schema_name = 'MY_SCHEMA'
  AND sql_text LIKE 'insert into%'
  GROUP BY sql_text,
    sql_id
  )
ORDER BY rows_per_execution ASC;

Answer 1

我不确定这个限制来自哪里。但是，Oracle JDBC Developer's Guide 给出了这个建议：

Oracle 建议将批次大小保持在 100 或更少的范围内。较大的批次提供很少或根本没有性能改进，并且实际上可能由于处理大批次所需的客户端资源而降低性能。

当然可以使用更大的批量大小，但它们并不一定会像您所见的那样提高性能。应该使用最适合用例和所使用的 JDBC 驱动程序/数据库的批量大小。在您的案例中，您可能应该使用 2500 个批次来获得最佳性能优势。

Answer 2

问题解决了

感谢您的所有回复。非常感谢你！

我之前的例子没有描述真正的问题。很抱歉没有立即给出全貌。
我将其简化为无法处理空值的状态。
请检查上面的示例，我已对其进行了更新。
如果我使用java.sql.Types.NULL Oracle JDBC 驱动程序使用theVarcharNullBinder 作为null 值-它会以某种方式导致如此奇怪的工作。我认为 Driver 被批量使用，直到第一个 null 没有指定类型，在 null 之后它回退到一个一个插入。

将 number 的列驱动程序更改为 java.sql.Types.NUMERIC 后，使用 theVarnumNullBinder 并正确使用它 - 完全批处理。

代码

import java.math.BigDecimal;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class scratch_1 {

    @Test
    public void foo() throws SQLException {
        String sql = "insert into my_table (val) values (?)";

        try (Connection con = getConnection()) {
            con.setAutoCommit(false);
            try (PreparedStatement ps = con.prepareStatement(sql)) {

                for (long i = 0; i < 100_000; i++) {
                    if (i % 2 == 0) {
                        //the real problem was here:
                        //ps.setNull(1, Types.NULL); //wrong way!
                        ps.setNull(1, Types.NUMERIC); //correct
                    } else {
                        ps.setBigDecimal(1, BigDecimal.valueOf(i));
                    }

                    ps.addBatch();
                }

                ps.executeBatch();
                ps.clearBatch();
            }
            con.commit();
        }
    }

    private Connection getConnection() throws SQLException {
        String url = "jdbc:oracle:thin:@localhost:1521:orcl";
        String user = "my_user";
        String password = "my_password";
        return java.sql.DriverManager.getConnection(url, user, password);
    }
}