【问题标题】:Getting ExecuteBatch to execute faster让 ExecuteBatch 执行得更快
【发布时间】:2012-03-08 07:52:54
【问题描述】:

我正在尝试从 sybase 服务器读取表,处理行,然后将结果输出到另一个表。 (下面是我的代码)

代码检索表的速度非常快,处理速度也同样快(在 30 秒内到达它发送的部分)。但是当我运行执行批处理时,它会在完成前停留 20 分钟(仅供参考,我有一个正在测试 8400 行的表)。

有没有更有效的方法来做到这一点?我可以接受或发送查询(我可以创建一个新表、更新一个表等)——我只是不知道为什么这么慢(我确定数据

注意:这对我来说真的很糟糕的原因是我必须解析一个有 1.2 MM 行的表(我现在使用的这个表是一个有 8400 行的测试表)

    Connection conn = DriverManager.getConnection(conString, user, pass);


    String sql = "SELECT id,dateid,attr from user.fromtable";
    Statement st = conn.createStatement();
    ResultSet rs = st.executeQuery(sql);

    String sqlOut = "INSERT INTO user.mytabletest (id,attr,date,estEndtime) values (?,?,?,?)";
    PreparedStatement ps = conn.prepareStatement(sqlOut);

    int i=1;

    while(rs.next())
    {
        int date = rs.getInt("dateid");
        String attr = rs.getString("attr");
        String id = rs.getString("id");

        Time tt = getTime(date,attr);
        Timestamp ts = new Timestamp(tt.getTime());

        ps.setString(1, id);
        ps.setString(2, attr);
        ps.setInt(3, date);
        ps.setTimestamp(4, ts);
        ps.addBatch();

        if(i % 10000 == 0)
        {
            System.out.println(i);
            ps.executeBatch();
            conn.commit();
            ps.clearBatch();                
        }

        i++;
    }
    System.out.println("sending "+(new Date()));
    int[] results = ps.executeBatch();
    System.out.println("committing "+(new Date()));
    conn.commit();
    System.out.println("done "+(new Date()));

【问题讨论】:

    标签: java sql jdbc sybase


    【解决方案1】:

    Progress DataDirect 提供了一种商业解决方案,可将 JDBC 批处理转换为数据库的本机批量加载协议,从而显着提高性能。它在 SQL Server 中非常流行,因为它不需要 BCP。我受雇于该供应商,并在how to bulk insert JDBC batches 上写了一篇博客。

    【讨论】:

      【解决方案2】:

      将 ?rewriteBatchedStatements=true 添加到 JDBC 网址的末尾。它会给你一个严重的性能改进。请注意,这是特定于 MySql 的,不会对任何其他 JDBC 驱动程序产生任何影响。

      例如:jdbc:mysql://server:3306/db_name?rewriteBatchedStatements=true

      它使我的表现提高了 15 倍以上

      【讨论】:

      • 对我来说是 30 多次。非常感谢
      【解决方案3】:

      要有效地处理批处理,您应该关闭 AutoCommit 选项并在执行批处理后将其打开(或者使用 connection.commit() 方法)

      connection.setAutoCommit(false);
      while(rs.next())
          {
           .....
           ps.addBatch();     
          }
      int[] results = ps.executeBatch();
      connection.setAutoCommit(true);
      

      【讨论】:

      • 谢谢!
      【解决方案4】:

      我也遇到了同样的问题,虽然我也无法在任何地方找到正确的解释,但终于弄明白了。

      答案是对于简单的无条件插入不应使用.executeBatch()。批处理模式正在做的是制作大量单独的“插入表 x ...”语句,这就是它运行缓慢的原因。但是,如果插入语句更复杂,可能具有不同的影响每一行的条件,那么它可能需要单独的插入语句,并且批处理执行实际上是有用的。

      一个可行的例子,尝试以下创建单个插入语句作为 PreparedStatement(但与 Statement 对象需要相同的概念),并解决运行缓慢的问题:

      public boolean addSetOfRecords(String tableName, Set<MyObject> objects) {
          StringBuffer sql = new StringBuffer("INSERT INTO " + tableName + " VALUES (?,?,?,?)");
          for(int i=1;i<objects.size();i++) {
              sql.append(",(?,?,?,?)");
          }
          try {
              PreparedStatement p = db.getConnection().prepareStatement(sql.toString());
              int i = 1;
              for(MyObject obj : objects) {
                  p.setString(i++, obj.getValue());
                  p.setString(i++, obj.getType());
                  p.setString(i++, obj.getId());
                  p.setDate(i++, new Date(obj.getRecordDate().getTime()));
              }
              p.execute();
              p.close();
              return true;
          } catch (SQLException e) {
              e.printStackTrace();
              return false;
          }
      }
      

      【讨论】:

      • 这结束了数小时的挣扎。谢谢!
      • 在连接 url 字符串中使用 rewriteBatchedStatements=true 做同样的事情!
      • 在支持批量插入的数据库上,已编写 JDBC 驱动程序以支持 RDBMS 功能,驱动程序利用底层有线协议针对与包含所有数据的附加数据缓冲区的连接执行一个准备好的语句提供的行数。每行单独的 SQL 是不支持批量插入的数据库+驱动程序组合的后备。
      • 不过,这种方式可以生成最大数量的参数。例如,当我使用 SQL Server 尝试这种方法时,我只能设置最多 2100 个值的参数。
      猜你喜欢
      • 2016-09-09
      • 1970-01-01
      • 1970-01-01
      • 2011-05-10
      • 1970-01-01
      • 2011-04-30
      • 1970-01-01
      • 2017-07-15
      • 1970-01-01
      相关资源
      最近更新 更多