这是删除重复 MySQL 行的好方法吗？

Question

我看到了创建具有唯一行的备用临时 MySQL 表的解决方案，但我不喜欢这个想法，因为我的表非常大，移动它们会很麻烦（如果有的话会产生巨大的问题在移动过程中出现错误）。

但是，我确实找到了以下内容。您对此有何看法（要检查的重复项是“field_name”）？

DELETE FROM table1
USING table1, table1 as vtable
WHERE (NOT table1.ID=vtable.ID)
AND (table1.field_name=vtable.field_name)

有人说这应该可行，但我不太确定。你怎么看？另外，是否有索引会改变这个命令的性能，比如在“field_name”上有一个索引？

编辑：在运行之前有什么方法可以测试查询吗？据我所知，MySQL 不支持对 DELETE 查询进行“解释”。

Answer 1

请注意，您显示的查询将删除 两个 重复项。我假设您想保留其中一个。

以下是我将如何编写此查询：

DELETE t1 FROM table1 AS t1 JOIN table1 AS t2 
  ON t1.id > t2.id AND t1.field_name = t2.field_name;

通过使用大于而不是不等于，您只删除一行（后一行），而不是同时删除。

(id, field_name) 上的复合索引可能会有所帮助。您应该通过 MySQL 的EXPLAIN 确认这一点以获取优化报告。但是EXPLAIN 只支持SELECT 查询，所以你应该运行一个等效的SELECT 来确认优化：

EXPLAIN SELECT * FROM table1 AS t1 JOIN table1 AS t2 
  ON t1.id > t2.id AND t1.field_name = t2.field_name;

您还询问了有关测试的问题。我建议将包含重复行的样本复制到 test 数据库中的表中：

CREATE TABLE test.table1test SELECT * FROM realdb.table1 LIMIT 10000;

现在您可以对样本数据进行实验，直到您对 DELETE 解决方案的正确性感到满意为止。

USE test;
SET autocommit = 0;
DELETE ... 
ROLLBACK;

我建议将test 数据库中的临时表命名为与真实数据库中的真实表不同的名称。以防万一您在运行实验性DELETE 时意外仍在使用真实数据库作为默认数据库！

---

你的cmets：

USE test 是一个 mysql 客户端内置命令。它将test 数据库设置为默认数据库。当您在查询中命名表而不用数据库名称限定它们时，这将是默认数据库。见http://dev.mysql.com/doc/refman/5.1/en/use.html

SET autocommit = 0 隐式关闭为每个查询提交事务的默认行为。所以你必须明确给出COMMIT 或ROLLBACK 命令来完成一个事务。见http://dev.mysql.com/doc/refman/5.1/en/commit.html

在试验时使用ROLLBACK 是值得的，因为它会丢弃在该事务中所做的更改。这是一种快速返回测试数据初始状态的方法，因此您可以尝试另一个实验。

DELETE t1 不是错字。 DELETE 删除行，而不是整个表。 t1 是每个满足语句条件的 row 的别名（尽管条件可能包括表中的每一行）。多表删除的描述见http://dev.mysql.com/doc/refman/5.1/en/delete.html

有点像当你在 PHP 中运行一个循环并使用一个变量来迭代循环时：for ($i=0; $i<100; ++$i) ... 变量$i 接受一系列值，每次循环它都有不同的值。

这是一个演示，展示了我的解决方案如何删除多个重复项。我在我的test 数据库中运行了这个，我直接从我的命令窗口粘贴了结果：

mysql> create table table1 (id serial primary key, field_name varchar(10));
Query OK, 0 rows affected (0.45 sec)

mysql> insert into table1 (field_name) 
       values (42), (42), (42), (42), (42), (42);
Query OK, 6 rows affected (0.00 sec)
Records: 6  Duplicates: 0  Warnings: 0

mysql> select * from table1;
+----+------------+
| id | field_name |
+----+------------+
|  1 | 42         | 
|  2 | 42         | 
|  3 | 42         | 
|  4 | 42         | 
|  5 | 42         | 
|  6 | 42         | 
+----+------------+
6 rows in set (0.00 sec)

mysql> delete t1 from table1 t1 join table1 t2 
       on t1.id > t2.id and t1.field_name = t2.field_name;
Query OK, 5 rows affected (0.00 sec)

mysql> select * from table1;
+----+------------+
| id | field_name |
+----+------------+
|  1 | 42         | 
+----+------------+
1 row in set (0.00 sec)

Answer 2

该查询应该有效。拥有索引会改变性能，但这实际上取决于表的大小。

至于测试这一点，我会将数据的子集复制到临时表中，然后在临时表上运行命令，然后再在真实表上运行。

请记住在执行任何主要批处理作业之前始终备份表，以便您可以随时回滚。

Answer 3

我使用的方法避免了JOIN 条件并且应该明显更快：

DELETE FROM table1 WHERE id NOT IN (SELECT MIN(x.id) FROM table1 AS x GROUP BY x.field_name);

子选择收集您要保留的 id 列表。这将允许您为每个 field_name 保留一个唯一的行。然后DELETE 语句将删除所有多余的重复行。

另外，是的，field_name 字段上的索引将提高您的查询性能。