【问题标题】:Creating test load for self-referencing table为自引用表创建测试负载
【发布时间】:2013-07-01 08:38:24
【问题描述】:

我必须做一些 SQL Server 2008 R2 性能测试,如果只使用 SSMS 和 SQL Server 来做这件事会非常方便,不需要额外的应用程序支持。

我必须做的一个测试是查询一个包含未知内容的自引用表(树状结构)。因此,首先我必须将 100K - 1M 随机父子相关行加载到此表中。

CREATE TABLE Test2 (
    ID int IDENTITY(1,1) PRIMARY KEY CLUSTERED NOT NULL,
    ParentID int NULL REFERENCES Test2 (ID))

我目前正在尝试使用 SSMS 和此脚本将 10K 行加载到表中:

SET NOCOUNT ON

INSERT INTO Test2 (ParentID)
VALUES (NULL)

DECLARE @n int = 0

;WHILE(1=1)
BEGIN
  --PRINT @n
  INSERT INTO Test2 (ParentID)
  SELECT TOP 1 ID FROM Test2 ORDER BY NEWID()

  SET @n = @n + 1
  IF(@n >= 9999)
    BREAK
END

SET NOCOUNT OFF

我的问题是它在我的笔记本电脑上运行类似于 2m 45s。您可以想象以这种方式加载 100K 甚至 1M 记录需要多长时间。

我想要一种更快的方法来使用 TSQL 将这种随机树状结构加载到数据库表中?

编辑: 在米奇小麦的建议下,我更换了

SELECT TOP 1 ID FROM Test2 ORDER BY NEWID()

与

SELECT TOP 1 ID FROM Test2 
WHERE ID >= RAND(CHECKSUM(NEWID())) * (SELECT MAX(ID) FROM Test2) 

关于随机行选择,结果看起来确实是均匀分布的。执行时间从 160 秒下降到 5 秒(!)-> 这使我能够在 60 秒内插入 10 万条记录。但是,使用我的 RBAR 脚本插入 1M 记录仍然很慢,我仍在寻找可能的基于集合的表达式来填充我的表。如果存在。

现在,在填充随机数据约 10 分钟后,我有 1M 行。它很慢但可以接受。 但是,使用批量插入将此数据复制到另一个表需要

SELECT * 
INTO Test3
FROM Test2

所以,我相信某种形式的批量插入可以加快这个过程。

【问题讨论】:

标签: performance tsql sql-server-2008-r2 self-referencing-table


【解决方案1】:

您并没有真正用您发布的代码衡量 INSERT 性能。

使用这样的 ORDER BY 子句选择单个随机行:

SELECT TOP 1 * FROM table ORDER BY NEWID()

甚至

SELECT TOP 1 * FROM table ORDER BY CHECKSUM(NEWID()) 

执行表扫描(因为与每行关联的随机值显然需要在对行进行排序之前计算),这对于大型表可能很慢。使用索引整数列(例如通常用于主键的列),并使用:

SELECT TOP 1 * FROM table 
WHERE rowid >= RAND(CHECKSUM(NEWID())) * (SELECT MAX(rowid) FROM table) 

如果 rowid 列被索引,则在恒定时间内工作。注意:这假设 rowid 均匀分布在 0..MAX(rowid) 范围内。如果您的数据集有其他分布,您的结果将出现偏差(即,某些行会比其他行更频繁地被选择)。

【讨论】:

  • 这大大缩短了执行时间!我将包括这个问题。但是,我的查询仍然是 RBAR,如果它存在的话,我正在寻找更好的东西。
  • 您不能将 INSERT 描述为 RBAR:根据定义,插入是逐行进行的!除非您执行批量插入...
  • 这里可以批量插入吗?或者一系列批量插入,每次批量迭代加倍..嗯。
  • 您要测量什么?您可以加载数据的最快速度?如果是这样,请使用 BCP 或 C# 中的 SQLBulkCopy。或者正在尝试测量一次插入一个行的实际插入性能?
  • 我正在尝试使用 TSQL 将随机树状结构加载到数据库表中。我认为加载 100 万条记录需要 10 分钟。
【解决方案2】:

我最终使用了我原来的方法并进行了一些调整:

  • 在插入之前禁用引用约束并在之后重新启用
  • 按照 Mitch Wheat 的建议使用批量插入

这是架构:

DROP TABLE Test2
GO

CREATE TABLE Test2 (
    ID int IDENTITY(1,1) PRIMARY KEY CLUSTERED NOT NULL,
    ParentID int NULL /*REFERENCES Test2 (ID)*/
)
GO

ALTER TABLE Test2 
  ADD CONSTRAINT FK_SelfRef
    FOREIGN KEY(ParentID) REFERENCES Test2 (ID)
GO

还有脚本:

CHECKPOINT;
DBCC DROPCLEANBUFFERS;

SET NOCOUNT ON

ALTER TABLE Test2 NOCHECK CONSTRAINT FK_SelfRef

INSERT INTO Test2 (ParentID)
VALUES (NULL)

DECLARE @n int = 1

;WHILE(1=1)
BEGIN
  INSERT INTO Test2 (ParentID)
  SELECT ID FROM Test2 ORDER BY NEWID()

  SELECT @n = COUNT(*) FROM Test2

  IF(@n >= 999999)
    BREAK
END

ALTER TABLE dbo.Test2 WITH CHECK CHECK CONSTRAINT FK_SelfRef

SET NOCOUNT OFF

这在 10 秒内执行,我无法用任何其他方法这么快。

注意:它插入的记录比需要的多。但是该方法可以通过限制最后一次插入的数量来安排插入确切的记录数。

【讨论】:

    【解决方案3】:

    当从先前插入的行中随机分配父级时,无法控制树的高度(层数)和层的填充方式,这在某些情况下可能不需要。

    用数据逐级填充树可能更方便。

    使用 Itzik 的交叉连接 CTE 方法采用辅助表值函数生成数字序列(参见例如here )

    create function ftItziksCJCTE
    (
        @cnt int
    )
    returns table as
    return
    (
        WITH
            E00(N) AS (SELECT 1 UNION ALL SELECT 1),
            E02(N) AS (SELECT 1 FROM E00 a, E00 b),
            E04(N) AS (SELECT 1 FROM E02 a, E02 b),
            E08(N) AS (SELECT 1 FROM E04 a, E04 b),
            E16(N) AS (SELECT 1 FROM E08 a, E08 b),
            E32(N) AS (SELECT 1 FROM E16 a, E16 b),
            E(N) AS (SELECT ROW_NUMBER() OVER (ORDER BY N) FROM E32)
        select N from E where N <= @cnt
    )
    

    控制树中元素分布的简单表格:

    create table #TreeLevels
    (
        LevelNo int identity(1, 1) not NULL,
        MinElements int not NULL,
        MaxElements int not NULL,
        primary key clustered (LevelNo)
    )
    

    样本分布:

    insert into #TreeLevels values (7, 10)
    insert into #TreeLevels values (70, 100)
    insert into #TreeLevels values (700, 1000)
    

    将为我们提供 7 到 10 个 ParentID = NULL 的元素,每个元素都有 70 到 100 个元素等。元素总数为 343000 到 1000000

    或其他分布:

    insert into #TreeLevels values (1, 1)
    insert into #TreeLevels values (9, 15)
    insert into #TreeLevels values (10, 12)
    insert into #TreeLevels values (9, 15)
    insert into #TreeLevels values (10, 12)
    insert into #TreeLevels values (9, 15)
    insert into #TreeLevels values (10, 12)
    

    意味着会有一个根元素,其中包含 9 到 15 个子元素,每个子元素都有 10 到 12 个元素,等等。

    然后可以逐级填充树:

    declare @levelNo int, @eMin int, @eMax int
    
    create table #Inserted (ID int not NULL, primary key nonclustered (ID))
    create table #Inserted2 (ID int not NULL, primary key nonclustered (ID))
    
    set @levelNo = 1
    while 1=1
    begin
        select @eMin = MinElements, @eMax = MaxElements from #TreeLevels where LevelNo = @levelNo
    
        if @@ROWCOUNT = 0
            break
    
        if @levelNo = 1
        begin
            insert into TestTree (ParentID)
            output inserted.ID into #Inserted (ID)
            select NULL from ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0))
        end
        else
        begin
            if exists (select 1 from #Inserted)
            begin
                insert into TestTree (ParentID)
                output inserted.ID into #Inserted2 (ID)
                select
                    I.ID
                from
                    #Inserted I
                    cross apply ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0)) F
    
                truncate table #Inserted
            end
            else
            begin
                insert into TestTree (ParentID)
                output inserted.ID into #Inserted (ID)
                select
                    I.ID
                from
                    #Inserted2 I
                    cross apply ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0)) F
    
                truncate table #Inserted2
            end
        end
    
        set @levelNo = @levelNo + 1
    end
    

    但是,无法控制树将包含的确切元素数量,并且叶节点仅位于最后一层。最好有额外的参数来控制级别人口(同一级别上将有子节点的百分比)。

    create table #TreeLevels
    (
        LevelNo int identity(1, 1) not NULL,
        MinElements int not NULL,
        MaxElements int not NULL,
        PopulatedPct float NULL,
        primary key clustered (LevelNo)
    )
    

    样本分布:

    insert into #TreeLevels values (1, 1, NULL)
    insert into #TreeLevels values (9, 15, NULL)
    insert into #TreeLevels values (10, 12, NULL)
    insert into #TreeLevels values (9, 15, 80)
    insert into #TreeLevels values (10, 12, 65)
    insert into #TreeLevels values (9, 15, 35)
    insert into #TreeLevels values (10, 12, NULL)
    

    PopulatedPct 百分比的 NULL 被视为 100%。 PopulatedPct 控制下一级填充,并且应该在循环期间从上一级获取。因此,#TreeLevels 中的最后一行也没有任何意义。

    现在我们可以在考虑 PopulatedPct 的情况下循环波谷水平。

    declare @levelNo int, @eMin int, @eMax int
    
    create table #Inserted (ID int not NULL, primary key nonclustered (ID))
    create table #Inserted2 (ID int not NULL, primary key nonclustered (ID))
    
    set @levelNo = 1
    while 1=1
    begin
        select @eMin = MinElements, @eMax = MaxElements from #TreeLevels where LevelNo = @levelNo
    
        if @@ROWCOUNT = 0
            break
    
        if @levelNo = 1
        begin
            insert into TestTree (ParentID)
            output inserted.ID into #Inserted (ID)
            select NULL from ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0))
        end
        else
        begin
            declare @pct float
            select @pct = PopulatedPct from #TreeLevels where LevelNo = @levelNo - 1
    
            if exists (select 1 from #Inserted)
            begin
                if (@pct is NULL)
                    insert into TestTree (ParentID)
                    output inserted.ID into #Inserted2 (ID)
                    select
                        I.ID
                    from
                        #Inserted I
                        cross apply ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0)) F
                else
                    insert into TestTree (ParentID)
                    output inserted.ID into #Inserted2 (ID)
                    select
                        I.ID
                    from
                        (select top (@pct) PERCENT ID from #Inserted order by rand(checksum(newid()))) I
                        cross apply ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0)) F
    
                truncate table #Inserted
            end
            else
            begin
                if (@pct is NULL)
                    insert into TestTree (ParentID)
                    output inserted.ID into #Inserted (ID)
                    select
                        I.ID
                    from
                        #Inserted2 I
                        cross apply ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0)) F
                else
                    insert into TestTree (ParentID)
                    output inserted.ID into #Inserted (ID)
                    select
                        I.ID
                    from
                        (select top (@pct) PERCENT ID from #Inserted2 order by rand(checksum(newid()))) I
                        cross apply ftItziksCJCTE(round(rand(checksum(newid())) * (@eMax - @eMin) + @eMin, 0)) F
    
                truncate table #Inserted2
            end
        end
    
        set @levelNo = @levelNo + 1
    end
    

    仍然无法控制元素的确切数量,但可以更好地控制树的形状。

    【讨论】:

    • 这是一个非常有趣的答案,考虑到我根本没有想到树的形状。我必须测试它,但我明白了。 +1
    • 我对您的脚本进行了测试。第一个变体在三个测试过程中填充了大约 550K 行,平均执行时间为 10 秒。第二个变体在 11 秒内填充了 530K 行。分布似乎还可以。树的深度均匀分布在整个分支中,而我的方法没有那种分布。但是,这种方法比我简单的批量插入要慢 40-50%。有没有办法让它更快一些?
    • 当您进行测试时,您是否像在您的方法中那样禁用了 FK_SelfRef?如果没有,可能会有所帮助。如果是,那么我似乎看不到改进它的方法(目前据我所知)。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多