删除重复数据的最快技术

Question

搜索 stackoverflow.com 后，我发现了几个问题，询问如何删除重复项，但都没有解决速度问题。

在我的例子中，我有一个包含 10 列的表，其中包含 500 万个精确的行重复。此外，我在 10 列中的 9 列中至少有一百万行重复。我目前的技术（到目前为止）需要 3 小时 来删除这 500 万行。这是我的过程：

-- Step 1:  **This step took 13 minutes.** Insert only one of the n duplicate rows into a temp table
select
    MAX(prikey) as MaxPriKey, -- identity(1, 1)
    a,
    b,
    c,
    d,
    e,
    f,
    g,
    h,
    i
into #dupTemp
FROM sourceTable
group by
    a,
    b,
    c,
    d,
    e,
    f,
    g,
    h,
    i
having COUNT(*) > 1

接下来，

-- Step 2: **This step is taking the 3+ hours**
-- delete the row when all the non-unique columns are the same (duplicates) and
-- have a smaller prikey not equal to the max prikey
delete 
from sourceTable
from sourceTable
inner join #dupTemp on  
    sourceTable.a = #dupTemp.a and
    sourceTable.b = #dupTemp.b and
    sourceTable.c = #dupTemp.c and
    sourceTable.d = #dupTemp.d and
    sourceTable.e   = #dupTemp.e and
    sourceTable.f = #dupTemp.f and
    sourceTable.g = #dupTemp.g and
    sourceTable.h = #dupTemp.h and
    sourceTable.i   = #dupTemp.i and
    sourceTable.PriKey != #dupTemp.MaxPriKey  

关于如何加快速度或更快的方法的任何提示？请记住，对于不完全重复的行，我将不得不再次运行它。

非常感谢。

更新：
我不得不停止第 2 步在 9 小时标记处运行。 我尝试了 OMG Ponies 的方法，只用了 40 分钟就完成了。 我用 Andomar 的批量删除尝试了我的第 2 步，它在我停止它之前运行了 9 个小时。 更新： 使用 OMG Ponies 的方法运行一个具有较少字段的类似查询以消除一组不同的重复项，并且该查询仅运行了 4 分钟（8000 行）。

下次有机会我会尝试 cte 技术，但是，我怀疑 OMG Ponies 的方法很难被击败。

Answer 1

存在呢：

DELETE FROM sourceTable
 WHERE EXISTS(SELECT NULL
                FROM #dupTemp dt
               WHERE sourceTable.a = dt.a 
                 AND sourceTable.b = dt.b 
                 AND sourceTable.c = dt.c 
                 AND sourceTable.d = dt.d 
                 AND sourceTable.e = dt.e 
                 AND sourceTable.f = dt.f 
                 AND sourceTable.g = dt.g 
                 AND sourceTable.h = dt.h 
                 AND sourceTable.i = dt.i 
                 AND sourceTable.PriKey < dt.MaxPriKey)

Answer 2

您能否让原始表在短时间内不可用？

我认为最快的解决方案是创建一个没有重复的新表。基本上是您与临时表一起使用的方法，而是创建一个“常规”表。

然后删除原始表并将中间表重命名为与旧表相同的名称。

Answer 3

批量删除行的瓶颈通常是 SQL Server 必须建立的事务。您可以通过将删除拆分为较小的事务来大大加快速度。例如，一次删除 100 行：

while 1=1
    begin

    delete top 100
    from sourceTable 
    ...

    if @@rowcount = 0
        break
    end

Answer 4

...基于上面的 OMG Ponies 评论，一种更紧凑的 CTE 方法。这种方法在您（无论出于何种原因）没有主键的表上效果很好 - 您可以在所有列上拥有相同的行。

;WITH cte AS (
 SELECT ROW_NUMBER() OVER 
          (PARTITION BY a,b,c,d,e,f,g,h,i ORDER BY prikey DESC) AS sequence
    FROM sourceTable
)
DELETE
FROM cte
WHERE sequence > 1

Answer 5

很多不同的东西。首先是这样的工作（做一个选择来确保，甚至可以放入它自己的临时表，#recordsToDelete）：

delete  
from sourceTable 
left join #dupTemp on   
       sourceTable.PriKey = #dupTemp.MaxPriKey   
where #dupTemp.MaxPriKey  is null

接下来你可以索引临时表，在 prikey 上放一个索引

如果您在临时表中有要删除的记录，则可以批量删除，这通常比使用删除锁定整个表要快。

Answer 6

这是一个版本，您可以将两个步骤合并为一个步骤。

WITH cte AS
    ( SELECT prikey, ROW_NUMBER() OVER (PARTITION BY a,b,c,d,e,f,g,h,i ORDER BY
        prikey DESC) AS sequence
    FROM sourceTable
    )

DELETE
FROM sourceTable
WHERE prikey IN
    ( SELECT prikey
    FROM cte
    WHERE sequence > 1
    ) ;

顺便问一下，有没有可以暂时删除的索引？

Answer 7

如果您使用的是 Oracle 数据库，我最近发现从总持续时间和 CPU 消耗的角度来看，以下语句的性能最好。 我已经执行了几个不同数据大小的测试，从几十行到几千行，总是在一个循环中。我使用 TKProf 工具来分析结果。

与上面的 ROW_NUMBER() 解决方案相比，这种方法占用了原始时间的 2/3，消耗了大约 50% 的 CPU 时间。它的行为似乎是线性的，即它应该在任何输入数据大小下给出类似的结果。

请随时给我您的反馈。不知道有没有更好的方法。

DELETE FROM sourceTable
WHERE
    ROWID IN(
        -- delete all
        SELECT ROWID
        FROM sourceTable t
        MINUS
        -- but keep every unique row
        SELECT
            rid
        FROM
            (
            SELECT a,b,c,d,e,f,g,h,i, MAX(ROWID) KEEP (DENSE_RANK FIRST ORDER BY ROWID) AS RID
            FROM sourceTable t
            GROUP BY a,b,c,d,e,f,g,h,i
            )
    )
;