SQL Server 中的插入速度真的很慢

Question

在向表中插入 200 万行时，我需要帮助。我插入的表有 40 亿行，我插入的表有 200 万行。插入速率约为每分钟 190 行。

DECLARE @BatchSize INT = 5000

WHILE 1 = 1  
BEGIN 
   INSERT INTO [dbo].[a] ([a].[col1], [a].[col2], [a].[adate], [a].[importdate])
       SELECT TOP(@BatchSize) 
           b.col1,  
           b.col2,  
           b.adate,
           b.importdate
       FROM 
           b 
       WHERE 
           NOT EXISTS (SELECT 1 
                       FROM dbo.[a] 
                       WHERE [a].col1 = b.col1
                         AND [a].col2 = b.col2
                         AND [a].adate = b.adate)
                         --AND [sent].aDate > getdate()-10)

    IF @@ROWCOUNT < @BatchSize BREAK  
END;

在上面的查询中，在表a中，col1和col2和col3是主键（Non-clustered）。我想从表 b 中插入表 a 中的每条记录...

表 a 有 3 个索引，一个是 col1.col2，第二个是 col1,col2,col3，第三个是 col1 ......

任何人都可以提供任何关于使其更快的想法吗？

我在 SQL Server 2008 R2 上有 128 Gb RAM。

谢谢

Answer 1

由于您希望将B 中的所有行都插入A，因此不需要使用exists。问题变成跟踪先前批次中已经传输的行之一。以下示例生成一个行号并使用它来将行分组为批次。如果行号是按现有索引排序的，那么select 侧应该不需要排序传递。

-- Sample data.
declare @A as Table ( Col1 Int, Col2 Int );

declare @B as Table ( Col1 Int, Col2 Int );
insert into @B ( Col1, Col2 ) values
  ( 1, 1 ), ( 1, 2 ), ( 1, 3 ), ( 1, 4 ), ( 1, 5 ),
  ( 2, 1 ), ( 2, 2 ), ( 2, 3 ), ( 2, 4 ), ( 2, 5 );

-- Rows to transfer in each batch.
declare @BatchSize as Int = 5;
-- First row to transfer in the current batch.
declare @BatchMark as Int = 1;
-- Count of rows processed.
declare @RowsProcessed as Int = 1;

-- Process the batches.
while @RowsProcessed > 0
  begin
  insert into @A ( Col1, Col2 )
    select Col1, Col2
      from ( select Col1, Col2, Row_Number() over ( order by Col1, Col2 ) as RN from @B ) as PH
      where @BatchMark <= RN and RN < @BatchMark + @BatchSize;
  select @RowsProcessed = @@RowCount, @BatchMark += @BatchSize;
  select * from @A; -- Show progress.
  end;

替代方案包括向B 表添加一个标志列以标记已处理的行，使用B 表中的现有id 跟踪已处理的最大值，使用附加表跟踪索引值已处理的行，从B 中删除已处理的行，...。

output 子句可能对某些替代方案有用。

在传输数据之前使用合适的填充因子重建索引可能会有所帮助。见here。这取决于您的问题中没有的索引值的知识。