在 SQL Server 数据库中将一列复制到另一列超过十亿行

Question

数据库：SQL Server 2005

问题：将值从一列复制到同一个表中的另一列，十亿以上 行。

test_table (int id, bigint bigid)

尝试1：更新查询

update test_table set bigid = id 

填满事务日志并由于事务日志空间不足而回滚。

尝试 2 - 以下几行的过程

set nocount on
set rowcount = 500000
while @rowcount > 0
begin
 update test_table set bigid = id where bigid is null
 set @rowcount = @@rowcount
 set @rowupdated = @rowsupdated + @rowcount
end
print @rowsupdated

上述过程在进行时开始变慢。

尝试 3 - 创建用于更新的游标。

在 SQL Server 文档中通常不鼓励这种方法，这种方法一次更新一行，这太耗时了。

是否有一种方法可以加快将值从一列复制到另一列的速度。基本上，我正在寻找一些“神奇”的关键字或逻辑，它们将允许更新查询按顺序一次遍历十亿行。

任何提示，指针将不胜感激。

Answer 1

我猜你正在接近 INT 数据类型在列的人工键上的 21 亿个限制。是的，这很痛苦。事前修复比实际达到该限制并且在您尝试修复它时关闭生产之后要容易得多:)

无论如何，这里的几个想法都会奏效。不过，让我们谈谈速度、效率、索引和日志大小。

对数增长

日志爆炸最初是因为它试图一次提交所有 2b 行。其他帖子中关于“分块”的建议会起作用，但可能无法完全解决日志问题。

如果数据库处于 SIMPLE 模式，您会没事的（日志将在每批之后重新使用自己）。如果数据库处于 FULL 或 BULK_LOGGED 恢复模式，您必须在操作运行期间经常运行日志备份，以便 SQL 可以重用日志空间。这可能意味着在此期间增加备份频率，或者只是在运行时监控日志使用情况。

索引和速度

所有where bigid is null 答案都会随着表格的填充而变慢，因为（可能）新的 BIGID 字段上没有索引。您可以（当然）在 BIGID 上添加一个索引，但我不相信这是正确的答案。

键（双关语）是我假设原始 ID 字段可能是主键或聚集索引，或两者兼而有之。在这种情况下，让我们利用这一事实，对 Jess 的想法做一个变体：

set @counter = 1
while @counter < 2000000000 --or whatever
begin
  update test_table set bigid = id 
  where id between @counter and (@counter + 499999) --BETWEEN is inclusive
  set @counter = @counter + 500000
end

这应该非常快，因为 ID 上已有索引。

ISNULL 检查确实没有必要，我的 (-1) 也没有必要。如果我们在调用之间重复一些行，那没什么大不了的。

Answer 2

我支持 UPDATE TOP(X) 语句

另外建议，如果您处于循环中，请在两者之间添加一些 WAITFOR 延迟或 COMMIT，以允许其他进程有时间在需要时使用该表，而不是在所有更新完成之前永久阻塞

Answer 3

如果有的话，第一步是在操作之前删除索引。这可能是导致速度随时间下降的原因。

另一个选项，有点跳出框框思考......你能以一种可以在选择中实现列值的方式表达更新吗？如果你能做到这一点，那么你可以使用 SELECT INTO 创建一个新表，这是一个最少记录的操作（假设在 2005 年你设置为 SIMPLE 或 BULK LOGGED 的恢复模式）。这会非常快，然后您可以删除旧表，将此表重命名为旧表名并重新创建任何索引。

select id, CAST(id as bigint) bigid into test_table_temp from test_table
drop table test_table
exec sp_rename 'test_table_temp', 'test_table'

Answer 4

在UPDATE statement中使用TOP：

UPDATE TOP (@row_limit) dbo.test_table
   SET bigid = id 
 WHERE bigid IS NULL

Answer 5

这是一次性的吗？如果是这样，只需按范围进行：

set counter = 500000
while @counter < 2000000000 --or whatever your max id
begin
 update test_table set bigid = id where id between (@counter - 500000) and @counter and bigid is null
 set counter = @counter + 500000
end

Answer 6

我没有运行它来尝试它，但如果你能让它一次更新 500k，我认为你正朝着正确的方向前进。

set rowcount 500000
update test_table tt1
set bigid = (SELECT tt2.id FROM test_table tt2 WHERE tt1.id = tt2.id)
where bigid IS NULL

您也可以尝试更改恢复模式，以便不记录事务

ALTER DATABASE db1
SET RECOVERY SIMPLE
GO

update test_table
set bigid = id
GO

ALTER DATABASE db1
SET RECOVERY FULL
GO

Answer 7

您可以尝试使用 SET ROWCOUNT 之类的东西并进行批量更新：

SET ROWCOUNT 5000;

UPDATE dbo.test_table 
SET bigid = id 
WHERE bigid IS NULL
GO

然后根据需要重复多次。

这样，您可以避免游标和 while 循环的 RBAR（逐行处理）症状，而且不会不必要地填满事务日志。

当然，在两次运行之间，您必须进行备份（尤其是日志）以将其大小保持在合理的范围内。