从没有 pk 或 id 或 mysql 中唯一列的表中删除重复记录

Question

我需要从我的一个表中删除所有重复的记录，问题是没有任何 id 或唯一或键列，所以我不能做这样的事情：

delete from tbl using tbl,tbl t2 where tbl.locationID=t2.locationID
  and tbl.linkID=t2.linkID  and tbl.ID>t2.ID

因为它需要一个 id 列或唯一或键列 我不能做一个

ALTER IGNORE TABLE 'mytable' ADD UNIQUE INDEX 

因为有些信息总是需要复制，而其他信息则不需要 我做不到：

DELETE FROM 'table' WHERE 'field' IN (SELECT 'field' FROM 'table' GROUP BY 'field'HAVING (COUNT('field')>1))

因为它会删除所有重复的并且永远不会留下一个 这是我的表的一个例子

+----------+----------------------+-------------+-------------+
| phone    | address              | name        | cellphone   |
+----------+----------------------+-------------+-------------+
| 2555555  | 1020 PANORAMA        | JUAN CARLOS | 0999999999  | diferent address
| 2555555  | GABRIEL JOSE 1020    | JUAN CARLOS | 0999999999  | good one
| 2555555  | GABRIEL JOSE 1020    | JUAN CARLOS | 0999999999  | duplicated
| 2555555  | C ATARAZANA 1020     | SILVIA      | 0777777777  | another good one
| 2555555  | C ATARAZANA 1020     | SILVIA      | 0777777777  | another duplicated
| 2555555  | GABRIEL JOSE 1020    | VIOLETA     | 0888888888  | diferent person
+----------+----------------------+-------------+-------------+

这就是我要离开的地方

+----------+----------------------+--------------+-------------+
| phone    | address              | name         | cellphone   |
+----------+----------------------+--------------+-------------+
| 2555555  | 1020 PANORAMA        | JUAN CARLOS  | 0999999999  |
| 2555555  | GABRIEL JOSE 1020    | JUAN CARLOS  | 0999999999  |
| 2555555  | C ATARAZANA 1020     | SILVIA       | 0777777777  |
| 2555555  | GABRIEL JOSE 1020    | VIOLETA      | 0888888888  |
+----------+----------------------+--------------+-------------+

我不能截断或删除原始表，因为它使用 24/7 并且有 10000000 条记录....

请帮帮我。

Answer 1

使用 ALTER IGNORE 添加唯一索引（包含表的所有列）将消除重复项：

ALTER IGNORE TABLE table_name
  ADD UNIQUE INDEX all_columns_uq
    (phone, address, name, cellphone) ;

在 SQL-Fiddle 中测试。

注意：在 5.5 版本中（由于实现快速索引创建的一个错误），只有在 ALTER 之前提供此设置时，上述设置才有效：

SET SESSION old_alter_table=1 ;

Answer 2

它非常简单，只需创建一个临时表并删除另一个表然后重新创建它

CREATE TEMPORARY TABLE IF NOT EXISTS no_dupes AS 
(SELECT * FROM test GROUP BY phone, address, name, cellphone);

TRUNCATE table test;
INSERT INTO test (phone, address, name, cellphone) 
SELECT phone, address, name, cell FROM no_dupes;

WORKING DEMO

Answer 3

我会使用子查询。比如：

DELETE FROM table1
WHERE EXISTS (
SELECT field1 
FROM table1 AS subTable1 
WHERE table1.field1 = subTable1.field1 and table1.field2 = subTable1.field2)

虽然没试过。

Answer 4

每个表总是有一个 PK，但您可以将列组合为唯一 ID，因此如果您愿意，可以使用整行作为唯一 ID...但我不建议使用整行，您应该搜索可以使用PK的最重要的列，当你这样做时，你可以复制数据，如果没有问题mysql不会复制重复的行。

对不起我的英语不好