如何更快地删除？

Question

我有一个包含 25 亿条记录的数据库表。 有 1100 万个重复项。 删除这 1100 万条记录的最快方法是什么？

Answer 1

从多条记录中删除一个重复项是一件棘手的事情，而且有这么多记录，您就有问题了。

一种选择是解决问题，将要保留的记录复制到新表中。您可以使用CREATE TABLE AS SELECT DISTINCT ... NOLOGGING 语法，它会在不使用事务日志的情况下复制您的重复数据删除记录，这样会快得多。填充新表后，删除/重命名旧表，然后将新表重命名到位。

见http://www.databasejournal.com/features/oracle/article.php/3631361/Managing-Tables-Logging-versus-Nologging.htm

哦，记得在新表上添加一个 UNIQUE 索引，这样就不会再发生这种情况了。

这个故事的寓意是...... 永远不要使用 DELETE 来删除大量记录，它非常慢，因为它必须将所有已删除的记录存储在重做日志中。复制和切换，或 TRUNCATE。

Answer 2

DELETE
FROM    mytable
WHERE   rowid IN
        (
        SELECT  rowid
        FROM    (
                SELECT  rowid, ROW_NUMBER() OVER (ORDER BY dupfield) rn
                FROM    mytable r
                )
        WHERE   rn > 1
        )

或者甚至是这样：

DELETE
FROM    mytable mo
WHERE   EXISTS
        (
        SELECT  NULL
        FROM    mytable mi
        WHERE   mi.dup_field = mo.dup_field
                AND mi.rowid <> mo.rowid
        )

这两个查询都将使用相当高效的HASH SEMI JOIN，如果dup_field 上没有索引，后者会更快。

您可能想复制行，但请注意，复制2G 行时生成的REDO 和UNDO 信息比删除11M 时要多得多。

Answer 3

是否删除现有行或创建适当的新表并删除旧表更快取决于很多因素。 1100 万行很多，但仅占表中总行数的 0.5%。重新创建和删除很可能比删除慢得多，这取决于源表上存在多少索引，以及需要删除的行在数据页上的位置。

然后是源表是否处于活动状态的问题。如果在进行此清理时正在进行插入和更新，则如果没有大量额外代码在事后同步表，则复制和删除将无法工作。

最后，为什么这个操作必须“快”？是因为在进程发生时系统需要离线吗？您可以编写一个在系统处于活动状态时删除欺骗的过程，但不会影响系统的其余部分来使用撤消。过去我们已经解决了这个问题，首先编写一个查询来收集第二个表中要删除的行的主键，如下所示：

  INSERT
    INTO RowsToDeleteTable
  SELECT PKColumn
    FROM SourceTable
   WHERE <conditions used to find rows to remove>

CREATE UNIQUE INDEX PK_RowsToDelete ON RowsToDeleteTable (PKColumn);

然后我们有一个 PL/SQL 块，它可以像这样循环游标中的行：

BEGIN
  FOR theRow IN (SELECT PKColumn FROM RowsToDeleteTable ORDER BY 1) LOOP
    <delete source table for theRow.PKColumn)
    <optionally wait a bit>
    commit;
  END LOOP;
END;

或者做这样的事情：

BEGIN
  FOR theRow IN (SELECT MIN(PKColumn) FROM RowsToDeleteTable ) LOOP
    <delete source table for theRow.PKColumn)
    <optionally wait a bit>
    DELETE RowsToDeleteTable
     WHERE PKColumn = theRow.PKColumn;
    commit;
  END LOOP;
END;

循环和“SELECT MAX”显然效率较低，但它的优点是可以让您跟踪删除操作的进度。我们在循环中放置了一些等待代码，以允许我们控制收割操作发生的剧烈程度。

RowsToDeleteTable 的初始创建过程非常迅速，您的优势是可以让该过程随心所欲地进行。在这种情况下，删除在您的范围中留下的“洞”不会太糟糕，因为您删除的是总数据的一小部分。

Answer 4

首先在定义和包含重复值的列上放置一个索引，

那么，假设表有一个主键（PK），

  Delete Table T Where PK <> 
        (Select Min(PK) From Table
         Where ColA = T.ColA
           ...  for each column in set defined above
           And ColB = T.ColB)

注意：也可以使用 Max(PK)，您所做的只是识别一条记录，不要从每组重复项中删除

编辑：为了消除事务日志和 UNDO 分区的广泛使用，您可以将重复值存储在临时表中，然后在单个事务中删除每对的重复值...

假设只有一列（称为 ColA，一个数字）定义了欺骗......

   Create Table Dupes (ColA Number)
   Insert Dupes(ColA)
   Select Distinct ColA
   From Table
   Group By ColA
   Having Count(*) > 1

   recordExists Number := 0 ;
   ColAValue Number;
   Select Case When Exists (Select Count(*) From Dupes)
   Then 1 Else 0 End Into recordExists From Dual;


   While recordExists = 1 
      Loop 
         Select (Select Max(ColA) From Dupes) 
         Into ColAValue From Dual;
         Begin Transaction
            Delete Table T
            Where ColA = ColAValue
               And pk <> (Select Min(Pk) From Table 
                          Where ColA = ColAValue);
            Delete Dupes Where ColA = ColAValue;
         Commit Transaction;
         Select Case When Exists (Select Count(*) From Dupes)
         Then 1 Else 0 End Into recordExists From Dual;
      End Loop;

未测试，因此语法可能需要按摩...

Answer 5

如果您确定不会更改数据的完整性（参照完整性），请禁用约束（索引、其他约束），执行删除，然后启用约束。您必须先尝试一下，看看启用时刷新索引是否比启用索引时更耗时。

一些查询优化可能也有帮助，但在不了解更多细节的情况下，我们只是在理论上讨论。