【发布时间】:2016-06-10 10:24:37
【问题描述】:
我正在使用 MERGE 函数将数据导入 SQL Server,它非常慢。我确信这是因为我没有以最好的方式做事,但我不确定最好的方式是什么。
为了解释,我正在使用 Java,我正在发布一个带有 5k MERGE 语句数据包的 batchUpdate(我尝试了各种批量大小)。合并使用参数,例如在 batchUpdate 上设置的值:
MERGE [MY_DATABASE_TABLE] AS TARGET
USING (SELECT ?, ?, ?, ?, ?, ?, ?, ?) AS SOURCE
?当我运行 batchUpdate 时,参数被替换为实际值。我的 MERGE 语句在匹配时确实有许多以下条件检查(例如,如果源为空且目标不为空)
为了说明性能,对于使用直接 INSERT 语句的 38k 行,时间为 8 秒,使用 MERGE 为 3 分钟。随着行数的增加(90k 行=23 分钟),这个时间似乎呈指数增长。 MYSql 中的相同功能是 10 秒(MySQL 用于重复键更新)。由于 SQL Server 会在 MERGE 期间(23 分钟!)锁定我的数据库表,并且我的 90k 行是一个相对较小的测试文件,因此这种性能是非常不可取的。
这一定是我没有优化的东西。我的目标数据库表中的“合并”列都是索引的(唯一键),所以不是这个。我无法索引我的源,因为我的源不是数据库表。这让我想知道我是否应该先将所有数据导入到一个临时表中,然后从中合并?
我的问题是: 是否应该期望 MERGE 更快,或者只有与索引的临时表一起使用 MERGE 才会更快?
注意:我使用的是 sqljdbc4 v 4.0.x 驱动程序
注意:batchUpdate 由 org.springframework.jdbc.core.JdbcTemplate 提供
【问题讨论】:
-
这里有很多因素可以发挥作用 - 与所有调试一样,您需要将变量排除在等式之外。我先做一个简单的实验。制作两个物理表,用虚拟数据填充它们,但数量是真实的 - 并对其进行合并。它走得慢还是快?如果速度较慢,服务器设置/磁盘设置/服务器负载等可能是您应该继续调查的地方。如果它“快” - 然后开始处理您的应用程序和它的代码。
-
嗨@Agent96,这里接受的解决方案有显着差异吗?
-
当我使用临时表时要快得多,所以我导入到一个 tmp 表中然后从中合并。
标签: sql-server merge