【发布时间】:2012-03-08 07:52:54
【问题描述】:
我正在尝试从 sybase 服务器读取表,处理行,然后将结果输出到另一个表。 (下面是我的代码)
代码检索表的速度非常快,处理速度也同样快(在 30 秒内到达它发送的部分)。但是当我运行执行批处理时,它会在完成前停留 20 分钟(仅供参考,我有一个正在测试 8400 行的表)。
有没有更有效的方法来做到这一点?我可以接受或发送查询(我可以创建一个新表、更新一个表等)——我只是不知道为什么这么慢(我确定数据
注意:这对我来说真的很糟糕的原因是我必须解析一个有 1.2 MM 行的表(我现在使用的这个表是一个有 8400 行的测试表)
Connection conn = DriverManager.getConnection(conString, user, pass);
String sql = "SELECT id,dateid,attr from user.fromtable";
Statement st = conn.createStatement();
ResultSet rs = st.executeQuery(sql);
String sqlOut = "INSERT INTO user.mytabletest (id,attr,date,estEndtime) values (?,?,?,?)";
PreparedStatement ps = conn.prepareStatement(sqlOut);
int i=1;
while(rs.next())
{
int date = rs.getInt("dateid");
String attr = rs.getString("attr");
String id = rs.getString("id");
Time tt = getTime(date,attr);
Timestamp ts = new Timestamp(tt.getTime());
ps.setString(1, id);
ps.setString(2, attr);
ps.setInt(3, date);
ps.setTimestamp(4, ts);
ps.addBatch();
if(i % 10000 == 0)
{
System.out.println(i);
ps.executeBatch();
conn.commit();
ps.clearBatch();
}
i++;
}
System.out.println("sending "+(new Date()));
int[] results = ps.executeBatch();
System.out.println("committing "+(new Date()));
conn.commit();
System.out.println("done "+(new Date()));
【问题讨论】: