如何删除重复条目？

Question

我必须向现有表添加唯一约束。这很好，只是表已经有数百万行，并且许多行违反了我需要添加的唯一约束。

删除违规行的最快方法是什么？我有一个 SQL 语句，它可以找到重复项并删除它们，但它需要永远运行。有没有其他方法可以解决这个问题？也许备份表，然后在添加约束后恢复？

Answer 1

其中一些方法看起来有点复杂，我通常这样做：

给定表 table，希望在 (field1, field2) 上对其进行唯一化，以保持具有最大字段 3 的行：

DELETE FROM table USING table alias 
  WHERE table.field1 = alias.field1 AND table.field2 = alias.field2 AND
    table.max_field < alias.max_field

例如，我有一个表user_accounts，我想为电子邮件添加一个唯一约束，但我有一些重复项。还说我想保留最近创建的一个（重复项中的最大 id）。

DELETE FROM user_accounts USING user_accounts ua2
  WHERE user_accounts.email = ua2.email AND user_account.id < ua2.id;

• 注意 - USING 不是标准 SQL，它是 PostgreSQL 扩展（但非常有用），但最初的问题特别提到了 PostgreSQL。

Answer 2

例如你可以：

CREATE TABLE tmp ...
INSERT INTO tmp SELECT DISTINCT * FROM t;
DROP TABLE t;
ALTER TABLE tmp RENAME TO t;

Answer 3

除了创建新表之外，您还可以在截断后将唯一行重新插入到同一个表中。 一次性完成所有操作。

这种方法仅适用于需要从整个表中删除大量行的情况。对于几个重复项，请使用普通的DELETE。

您提到了数百万行。为了使操作快速，您需要为会话分配足够的temporary buffers。在当前会话中使用任何临时缓冲区之前必须调整设置。找出你的桌子的大小：

SELECT pg_size_pretty(pg_relation_size('tbl'));

设置temp_buffers 至少比它高一点。

SET temp_buffers = 200MB;   -- example value

BEGIN;

CREATE TEMP TABLE t_tmp AS  -- retains temp for duration of session
SELECT DISTINCT * FROM tbl  -- DISTINCT folds duplicates
ORDER  BY id;               -- optionally "cluster" data

TRUNCATE tbl;

INSERT INTO tbl
SELECT * FROM t_tmp;        -- retains order (implementation detail)

COMMIT;

此方法优于创建新表如果存在依赖对象。引用表的视图、索引、外键或其他对象。 TRUNCATE 无论如何都会让您从一个干净的状态开始（后台中的新文件），并且比使用大桌子的DELETE FROM tbl 快很多（使用小桌子实际上DELETE 可以更快）。

对于大表，删除索引和外键 (FK)、重新填充表并重新创建这些对象通常更快。当然，就 FK 约束而言，您必须确定新数据是有效的，否则在尝试创建 FK 时会遇到异常。

请注意，TRUNCATE 比 DELETE 需要更积极的锁定。对于具有大量并发负载的表来说，这可能是一个问题。但它仍然没有完全删除和替换表的破坏性。

如果TRUNCATE 不是一个选项，或者通常用于中小型表，则可以使用data-modifying CTE 的类似技术（Postgres 9.1+）： p>

WITH del AS (DELETE FROM tbl RETURNING *)
INSERT INTO tbl
SELECT DISTINCT * FROM del;
ORDER  BY id; -- optionally "cluster" data while being at it.

对于大表来说更慢，因为TRUNCATE 在那里更快。但对于小桌子来说可能更快（更简单！）。

如果您根本没有依赖对象，您可能会创建一个新表并删除旧表，但通过这种通用方法您几乎没有任何收获。

对于不适合可用 RAM 的非常大的表，创建 新 表会快得多。您必须权衡这与依赖对象可能带来的麻烦/开销。

Answer 4

您可以使用 oid 或 ctid，它们通常是表中的“不可见”列：

DELETE FROM table
 WHERE ctid NOT IN
  (SELECT MAX(s.ctid)
    FROM table s
    GROUP BY s.column_has_be_distinct);

Answer 5

PostgreSQL 窗口函数可以很好地解决这个问题。

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             row_number() over (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

见Deleting duplicates。

Answer 6

删除重复项的通用查询：

DELETE FROM table_name
WHERE ctid NOT IN (
  SELECT max(ctid) FROM table_name
  GROUP BY column1, [column 2, ...]
);

ctid 列是可用于每个表的特殊列，但除非特别提及，否则不可见。 ctid 列值对于表中的每一行都被认为是唯一的。请参阅PostgreSQL system columns 以了解有关ctid 的更多信息。

Answer 7

来自an old postgresql.org mailing list：

create table test ( a text, b text );

唯一值

insert into test values ( 'x', 'y');
insert into test values ( 'x', 'x');
insert into test values ( 'y', 'y' );
insert into test values ( 'y', 'x' );

重复值

insert into test values ( 'x', 'y');
insert into test values ( 'x', 'x');
insert into test values ( 'y', 'y' );
insert into test values ( 'y', 'x' );

再重复一次

insert into test values ( 'x', 'y');

select oid, a, b from test;

选择重复行

select o.oid, o.a, o.b from test o
    where exists ( select 'x'
                   from test i
                   where     i.a = o.a
                         and i.b = o.b
                         and i.oid < o.oid
                 );

删除重复行

注意：PostgreSQL 不支持别名 from 子句中提到的表 删除。

delete from test
    where exists ( select 'x'
                   from test i
                   where     i.a = test.a
                         and i.b = test.b
                         and i.oid < test.oid
             );

Answer 8

此函数在不删除索引的情况下删除重复项，并对任何表执行此操作。

用法：select remove_duplicates('mytable');

--- --- remove_duplicates(tablename) 从表中删除重复记录（从集合转换为唯一集合） --- 创建或替换函数 remove_duplicates(text) RETURNS void AS $$ 宣布 表名别名为 1 美元； 开始 执行'创建临时表_DISTINCT_' ||表名 || ' AS (SELECT DISTINCT * FROM ' || 表名 || ');'; 执行'删除'||表名 || ';'; 执行“插入”||表名 || ' (SELECT * FROM _DISTINCT_' || 表名 || ');'; 执行“删除表_DISTINCT_”||表名 || ';'; 返回; 结尾; $$ 语言 plpgsql;

Answer 9

我刚刚成功地使用Erwin Brandstetter's answer 删除了连接表（缺少自己的主 ID 的表）中的重复项，但发现有一个重要的警告。

包括ON COMMIT DROP 意味着临时表将在事务结束时被删除。对我来说，这意味着在我插入临时表时不再可用！

我刚刚做了CREATE TEMPORARY TABLE t_tmp AS SELECT DISTINCT * FROM tbl;，一切正常。

临时表确实在会话结束时被删除。

Answer 10

DELETE FROM table
  WHERE something NOT IN
    (SELECT     MAX(s.something)
      FROM      table As s
      GROUP BY  s.this_thing, s.that_thing);

Answer 11

如果您只有一个或几个重复条目，并且它们确实是重复（即它们出现了两次），您可以使用“隐藏”ctid 列，如上所示，连同LIMIT:

DELETE FROM mytable WHERE ctid=(SELECT ctid FROM mytable WHERE […] LIMIT 1);

这将只删除所选行中的第一行。

Answer 12

首先，您需要决定要保留哪些“副本”。如果所有列都相等，好的，您可以删除其中的任何一个...但也许您只想保留最新的，或者其他一些标准？

最快的方法取决于您对上述问题的回答，以及桌子上重复的百分比。如果你丢弃 50% 的行，你最好使用CREATE TABLE ... AS SELECT DISTINCT ... FROM ... ;，如果你删除 1% 的行，使用 DELETE 会更好。

对于这样的维护操作，通常最好将work_mem 设置为您的 RAM 的一大块：运行 EXPLAIN，检查排序/哈希的数量 N，并将 work_mem 设置为您的 RAM / 2 / N。使用大量内存；这对速度有好处。只要你只有一个并发连接...

Answer 13

我正在使用 PostgreSQL 8.4。当我运行建议的代码时，我发现它不是 实际上删除重复项。在运行一些测试时，我发现添加 “DISTINCT ON (duplicate_column_name)”和“ORDER BY duplicate_column_name”起到了作用。我不是 SQL 专家，我在 PostgreSQL 8.4 SELECT...DISTINCT 文档中找到了这个。

CREATE OR REPLACE FUNCTION remove_duplicates(text, text) RETURNS void AS $$
DECLARE
  tablename ALIAS FOR $1;
  duplicate_column ALIAS FOR $2;
BEGIN
  EXECUTE 'CREATE TEMPORARY TABLE _DISTINCT_' || tablename || ' AS (SELECT DISTINCT ON (' || duplicate_column || ') * FROM ' || tablename || ' ORDER BY ' || duplicate_column || ' ASC);';
  EXECUTE 'DELETE FROM ' || tablename || ';';
  EXECUTE 'INSERT INTO ' || tablename || ' (SELECT * FROM _DISTINCT_' || tablename || ');';
  EXECUTE 'DROP TABLE _DISTINCT_' || tablename || ';';
  RETURN;
END;
$$ LANGUAGE plpgsql;

Answer 14

这很好用而且速度很快：

CREATE INDEX otherTable_idx ON otherTable( colName );
CREATE TABLE newTable AS select DISTINCT ON (colName) col1,colName,col2 FROM otherTable;

Answer 15

DELETE FROM tablename
WHERE id IN (SELECT id
    FROM (SELECT id,ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                 FROM tablename) t
          WHERE t.rnum > 1);

按列删除重复项并保留 ID 最低的行。模式取自postgres wiki

使用 CTE，您可以通过此实现上述内容的可读性更高的版本

WITH duplicate_ids as (
    SELECT id, rnum 
    FROM num_of_rows
    WHERE rnum > 1
),
num_of_rows as (
    SELECT id, 
        ROW_NUMBER() over (partition BY column1, 
                                        column2, 
                                        column3 ORDER BY id) AS rnum
        FROM tablename
)
DELETE FROM tablename 
WHERE id IN (SELECT id from duplicate_ids)

Answer 16

CREATE TABLE test (col text);
INSERT INTO test VALUES
 ('1'),
 ('2'), ('2'),
 ('3'),
 ('4'), ('4'),
 ('5'),
 ('6'), ('6');
DELETE FROM test
 WHERE ctid in (
   SELECT t.ctid FROM (
     SELECT row_number() over (
               partition BY col
               ORDER BY col
               ) AS rnum,
            ctid FROM test
       ORDER BY col
     ) t
    WHERE t.rnum >1);