如何使用 SQL 在以下场景中删除重复项

Question

如何删除重复。这里我只想保留不同的记录（记录）

ID          LAST_MODIFIED_DATE      rn
44849691    2019-01-29 00:00:09.000 1
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2
44849691    2019-01-29 00:31:30.000 2

使用RANK 分区函数

Answer 1

使用ROW_NUMBER() 窗口函数代替RANK()。在 CTE 中查询，然后从 CTE 中简单地 DELETE 记录。这将回到您的实际表中。

; WITH cte1 AS (
    SELECT ROW_NUMBER() OVER ( PARTITION BY ID, LAST_MODIFIED_DATE ORDER BY ( SELECT NULL ) ) AS rn
    FROM t1 
) 
DELETE FROM cte1 WHERE rn > 1 ;

https://dbfiddle.uk/?rdbms=sqlserver_2017&fiddle=0b1e4bba4577837cf7c9cedbd26e3e36

请记住，如果您删除了大量记录，您的日志将显着增加，您将需要重建您拥有的所有索引。

如果您的空间有限，那么 Gordon 选择新表的答案将是最好的。这真的取决于桌子的其余部分是什么样子。

我们正在处理多少行？数据上是否有任何索引？

编辑说明：我将 ROW_NUMBER() 函数更改为 ORDER BY ( SELECT NULL )，而不是实际字段。在这种情况下，我们似乎并不关心顺序是什么，因为我们正在寻找重复项。

编辑 2：

https://dbfiddle.uk/?rdbms=sqlserver_2017&fiddle=1f3eb371dbe1cfa84291e5aaa566cc76

该链接演示了有一个额外的列，这将阻止我们真正重复的行。但是我们仍然可以删除基于ID 和LAST_MODIFIED_DATE 的记录。但是，请注意，除非您在 ORDER BY .... 中指定另一个字段，否则被视为“重复”的行会有些随意。

Answer 2

你有很多重复。只创建一个新表怎么样？

select distinct t.*
into distinct_t
from t;

然后您可以根据需要重新插入数据：

truncate table t;

insert into t
    select * from distinct_t;