如何在没有日志的情况下删除SQL中表的大数据？

Question

我有一个大数据表。 此表有 1000 万条记录。

这个查询的最佳方式是什么

   Delete LargeTable where readTime < dateadd(MONTH,-7,GETDATE())

Answer 1

1. 如果您要删除该表中的所有行，最简单的选择是截断表，类似于

    TRUNCATE TABLE LargeTable
    GO
   

截断表只会清空表，你不能使用 WHERE 子句来限制被删除的行并且不会触发任何触发器。

1. 另一方面，如果您要删除超过 80-90% 的数据，假设您总共有 1100 万行并且您想要删除 1000 万行，另一种方法是插入这 100 万行（记录您想保留）到另一个临时表。截断这个大表并插入这 100 万行。

2. 或者，如果权限/视图或其他具有这个大表作为其基础表的对象不会受到删除此表的影响，您可以将这些相对少量的行放入另一个表中，删除此表并创建另一个表具有相同架构的表，并将这些行导入回这个 ex-Large 表中。

3. 我能想到的最后一个选项是更改数据库的 Recovery Mode to SIMPLE，然后使用类似这样的 while 循环分批删除行：

    DECLARE @Deleted_Rows INT;
    SET @Deleted_Rows = 1;
   
   
    WHILE (@Deleted_Rows > 0)
      BEGIN
       -- Delete some small number of rows at a time
         DELETE TOP (10000)  LargeTable 
         WHERE readTime < dateadd(MONTH,-7,GETDATE())
   
      SET @Deleted_Rows = @@ROWCOUNT;
    END
   

别忘了将恢复模式改回完整模式，我认为您必须进行备份才能使其完全生效（更改或恢复模式）。

Answer 2

@m-ali 的答案是正确的，但请记住，如果您不在每个块之后提交事务并执行检查点，日志可能会增长很多。我就是这样做的，并以这篇文章http://sqlperformance.com/2013/03/io-subsystem/chunk-deletes 作为参考，并附有性能测试和图表：

DECLARE @Deleted_Rows INT;
SET @Deleted_Rows = 1;


WHILE (@Deleted_Rows > 0)
  BEGIN

   BEGIN TRANSACTION

   -- Delete some small number of rows at a time
     DELETE TOP (10000)  LargeTable 
     WHERE readTime < dateadd(MONTH,-7,GETDATE())

     SET @Deleted_Rows = @@ROWCOUNT;

   COMMIT TRANSACTION
   CHECKPOINT -- for simple recovery model
END

Answer 3

您还可以使用 GO + 执行相同查询的次数。

DELETE TOP (10000)  [TARGETDATABASE].[SCHEMA].[TARGETTABLE] 
WHERE readTime < dateadd(MONTH,-1,GETDATE());
-- how many times you want the query to repeat
GO 100

Answer 4

@Francisco Goldenstein，只是一个小修正。设置变量后必须使用 COMMIT，否则 WHILE 只会执行一次：

DECLARE @Deleted_Rows INT;
SET @Deleted_Rows = 1;

WHILE (@Deleted_Rows > 0)
BEGIN
    BEGIN TRANSACTION

    -- Delete some small number of rows at a time
    DELETE TOP (10000)  LargeTable 
    WHERE readTime < dateadd(MONTH,-7,GETDATE())

    SET @Deleted_Rows = @@ROWCOUNT;

    COMMIT TRANSACTION
    CHECKPOINT -- for simple recovery model

END

Answer 5

M.Ali 的这种变体对我来说效果很好。它删除一些，清除日志并重复。我正在看着日志增长、下降并重新开始。

DECLARE @Deleted_Rows INT;
SET @Deleted_Rows = 1;
WHILE (@Deleted_Rows > 0)
  BEGIN
   -- Delete some small number of rows at a time
    delete top (100000) from InstallLog where DateTime between '2014-12-01' and '2015-02-01'
    SET @Deleted_Rows = @@ROWCOUNT;
    dbcc shrinkfile (MobiControlDB_log,0,truncateonly);
END

Answer 6

如果您愿意（并且能够）实现分区，那么这是一种以很少的运行时开销删除大量数据的有效技术。不过，对于一次性练习来说并不划算。

Answer 7

我能够在几分钟内从包含 2100 万行的表中删除 1900 万行。这是我的方法。

如果您在此表上有一个自增主键，那么您可以使用此主键。

1. 获取大表主键的最小值，其中 readTime

2. 将所有具有主键 > min_primary 的行插入临时表（如果行数不大，则为内存表）。

3. 放下大桌子。

4. 重新创建表。将临时表中的所有行复制到主表。

5. 删除临时表。

Answer 8

您可以使用 while 循环删除小批量，如下所示：

DELETE TOP (10000)  LargeTable 
WHERE readTime < dateadd(MONTH,-7,GETDATE())
WHILE @@ROWCOUNT > 0
BEGIN
    DELETE TOP (10000)  LargeTable 
    WHERE readTime < dateadd(MONTH,-7,GETDATE())
END

Answer 9

更短的语法

select 1
WHILE (@@ROWCOUNT > 0)
BEGIN
  DELETE TOP (10000) LargeTable 
  WHERE readTime < dateadd(MONTH,-7,GETDATE())
END

Answer 10

如果您使用的是 SQL Server 2016 或更高版本，并且您的表具有基于您要删除的列（例如 Timestamp 列）创建的分区，那么您可以使用这个新命令按分区删除数据。

TRUNCATE TABLE WITH (PARTITIONS ({ | } [ , ...n ]))

这将仅删除选定分区中的数据，并且应该是从部分表中删除数据的最有效方式，因为它不会创建事务日志，并且将与常规截断一样快，但不会全部删除从表中删除的数据。

缺点是如果您的表没有设置分区，那么您需要去老学校并使用常规方法删除数据，然后重新创建带有分区的表，以便您将来可以这样做，这就是我所做的。我将分区创建和删除添加到插入过程本身。我的表有 5 亿行，所以这是减少删除时间的唯一选择。

更多详情请参考以下链接： https://docs.microsoft.com/en-us/sql/t-sql/statements/truncate-table-transact-sql?view=sql-server-2017

SQL server 2016 Truncate table with partitions

以下是我在重新创建包含所需数据的分区的表之前首先删除数据的操作。此查询将在指定的时间窗口内运行数天，直到数据被删除。

:connect <<ServerName>>
use <<DatabaseName>>

SET NOCOUNT ON;
DECLARE @Deleted_Rows INT;
DECLARE @loopnum INT;
DECLARE @msg varchar(100);
DECLARE @FlagDate datetime;
SET @FlagDate =  getdate() - 31;
SET @Deleted_Rows = 1;
SET @loopnum = 1;

/*while (getdate() < convert(datetime,'2018-11-08 14:00:00.000',120))
BEGIN
    RAISERROR( 'WAIT for START' ,0,1) WITH NOWAIT   
    WAITFOR DELAY '00:10:00'
END*/
RAISERROR( 'STARTING PURGE' ,0,1) WITH NOWAIT   

WHILE (1=1)
BEGIN
    WHILE (@Deleted_Rows > 0 AND (datepart(hh, getdate() ) >= 12 AND datepart(hh, getdate() ) <= 20)) -- (getdate() < convert(datetime,'2018-11-08 19:00:00.000',120) )
      BEGIN
       -- Delete some small number of rows at a time
         DELETE TOP (500000)  dbo.<<table_name>>
         WHERE timestamp_column < convert(datetime, @FlagDate,102)
         SET @Deleted_Rows = @@ROWCOUNT;
         WAITFOR DELAY '00:00:01'
         select @msg = 'ROWCOUNT' + convert(varchar,@Deleted_Rows);
         set @loopnum = @loopnum + 1
         if @loopnum > 1000
             begin 
                 begin try
                        DBCC SHRINKFILE (N'<<databasename>>_log' , 0, TRUNCATEONLY)
                        RAISERROR( @msg ,0,1) WITH NOWAIT
                 end try
                 begin catch
                     RAISERROR( 'DBCC SHRINK' ,0,1) WITH NOWAIT  
                 end catch
                 set @loopnum = 1
             end
        END
WAITFOR DELAY '00:10:00'
END 
select getdate()

Answer 11

另一种用途：

SET ROWCOUNT 1000 -- Buffer

DECLARE @DATE AS DATETIME = dateadd(MONTH,-7,GETDATE())

DELETE LargeTable  WHERE readTime < @DATE
WHILE @@ROWCOUNT > 0
BEGIN
   DELETE LargeTable  WHERE readTime < @DATE
END
SET ROWCOUNT 0

可选；

如果启用事务日志，请禁用事务日志。

ALTER DATABASE dbname SET RECOVERY SIMPLE;

Answer 12

如果我说没有循环，我可以使用GOTO 语句使用sql server 删除大量记录。 例如。

 IsRepeat:
    DELETE TOP (10000)
    FROM <TableName>
    IF @@ROWCOUNT > 0
         GOTO IsRepeat

这样你可以用较小的删除量删除大量数据。

如果需要更多信息，请告诉我。

Answer 13

如果要删除记录较多的表的记录，但保留部分记录， 您可以将所需的记录保存在类似的表中，并截断主表，然后将保存的记录返回到主表中。