【问题标题】:SQL Server MERGE SlowSQL Server MERGE 慢
【发布时间】:2016-06-10 10:24:37
【问题描述】:

我正在使用 MERGE 函数将数据导入 SQL Server,它非常慢。我确信这是因为我没有以最好的方式做事,但我不确定最好的方式是什么。

为了解释,我正在使用 Java,我正在发布一个带有 5k MERGE 语句数据包的 batchUpdate(我尝试了各种批量大小)。合并使用参数,例如在 batchUpdate 上设置的值:

MERGE [MY_DATABASE_TABLE] AS TARGET
        USING (SELECT ?, ?, ?, ?, ?, ?, ?, ?)  AS SOURCE

?当我运行 batchUpdate 时,参数被替换为实际值。我的 MERGE 语句在匹配时确实有许多以下条件检查(例如,如果源为空且目标不为空)

为了说明性能,对于使用直接 INSERT 语句的 38k 行,时间为 8 秒,使用 MERGE 为 3 分钟。随着行数的增加(90k 行=23 分钟),这个时间似乎呈指数增长。 MYSql 中的相同功能是 10 秒(MySQL 用于重复键更新)。由于 SQL Server 会在 MERGE 期间(23 分钟!)锁定我的数据库表,并且我的 90k 行是一个相对较小的测试文件,因此这种性能是非常不可取的。

这一定是我没有优化的东西。我的目标数据库表中的“合并”列都是索引的(唯一键),所以不是这个。我无法索引我的源,因为我的源不是数据库表。这让我想知道我是否应该先将所有数据导入到一个临时表中,然后从中合并?

我的问题是: 是否应该期望 MERGE 更快,或者只有与索引的临时表一起使用 MERGE 才会更快?


注意:我使用的是 sqljdbc4 v 4.0.x 驱动程序

注意:batchUpdate 由 org.springframework.jdbc.core.JdbcTemplate 提供

【问题讨论】:

  • 这里有很多因素可以发挥作用 - 与所有调试一样,您需要将变量排除在等式之外。我先做一个简单的实验。制作两个物理表,用虚拟数据填充它们,但数量是真实的 - 并对其进行合并。它走得慢还是快?如果速度较慢,服务器设置/磁盘设置/服务器负载等可能是您应该继续调查的地方。如果它“快” - 然后开始处理您的应用程序和它的代码。
  • 嗨@Agent96,这里接受的解决方案有显着差异吗?
  • 当我使用临时表时要快得多,所以我导入到一个 tmp 表中然后从中合并。

标签: sql-server merge


【解决方案1】:

代替 MySQL - SQL Server 的MERGE 不能忽略重复键。即使IGNORE_DUP_KEY 为目标表上的任何唯一索引设置为ON,MERGE 也会忽略此设置。

是的MERGE 使用索引临时表会更快。

【讨论】:

  • 好的 - 所以基本上从临时表中的 MERGE 非常快,通过在 SELECT 语句中处理“固定值”来完成,非常慢。所以基本上不要做 MERGE 除非它来自另一个表(对于非平凡的数据量)
  • 是的,正是如此。而且,即使一个关键字段重复 - 它也不起作用。
猜你喜欢
  • 1970-01-01
  • 2011-04-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-05-18
  • 2010-11-28
相关资源
最近更新 更多