MySQL（id >= N AND col2 IS NULL）查询对于大 N 出乎意料地慢

Question

我们使用的是 MySQL 5.5.42。

我们有一个表 publications 包含大约 1.5 亿行（SSD 上大约 140 GB）。

该表有很多列，其中两列特别有趣：

• id 是表的主键，类型为 bigint
• cluster_id 是 bigint 类型的可空列

两列都有自己的（单独的）索引。

我们查询表单

SELECT * FROM publications
WHERE id >= 14032924480302800156 AND cluster_id IS NULL
ORDER BY id
LIMIT 0, 200;

问题出在这里：id 值越大（上例中为 14032924480302800156），请求越慢。

换句话说，低id 值的请求很快（id 值越高，请求越慢（最多几分钟）。

如果我们在WHERE 子句中使用另一个（索引）列，一切都很好。比如

SELECT * FROM publications
WHERE inserted_at >= '2014-06-20 19:30:25' AND cluster_id IS NULL
ORDER BY inserted_at
LIMIT 0, 200;

其中inserted_at 的类型为timestamp。

编辑：

使用id >= 14032924480302800156时EXPLAIN的输出：

id | select_type | table        | type | possible_keys      | key        | key_len | ref   | rows     | Extra
---+-------------+--------------+------+--------------------+------------+---------+-------+----------+------------
1  | SIMPLE      | publications | ref  | PRIMARY,cluster_id | cluster_id | 9       | const | 71647796 | Using where

使用inserted_at >= '2014-06-20 19:30:25'时EXPLAIN的输出：

id | select_type | table        | type | possible_keys          | key        | key_len | ref   | rows     | Extra
---+-------------+--------------+------+------------------------+------------+---------+-------+----------+------------
1  | SIMPLE      | publications | ref  | inserted_at,cluster_id | cluster_id | 9       | const | 71647796 | Using where

Answer 1

关于 MySQL 使用错误顺序的索引存在一些猜测。 PRIMARY 索引的处理方式似乎与其他索引完全不同。

在具有主键条件索引PRIMARY 和cluster_id 的查询中可以使用。由于某种原因，MySQL 忽略了PRIMARY 索引并首先查看cluster_id 上的索引，您有一个条件：它应该是NULL。这给我们留下了一个巨大的潜在无序（NULLs 无处不在！）由id 过滤的行集。

但是，对于下一个查询，情况有所不同：PRIMARY 索引根本无法使用，因此 MySQL 会以更好的方式确定使用什么，显然首先在 inserted_at 上使用索引而没有任何提示。

它在第一个查询中实际上应该做的是首先获取PRIMARY 索引（tell it to do so）。我不是 MySQL 用户，我所有的猜测都是基于我自己对内部数据结构的理解。我不知道它是否可以在结果之上应用cluster_id 上的索引，但是创建一个复合索引并比较有无它的性能可能会提供关于它是否被使用的线索。

Answer 2

性能问题很可能会发生，因为您只有 id 和 cluster_id 列的单独索引，但不能同时在这两个列上建立索引。

也许对于较大的 id，cluster_id 与请求的值（NULL）匹配的情况更罕见？在这种情况下，对于较大的 id，数据库可能需要遍历更多记录，以便选择带有 cluster_id IS NULL 的请求的 200。

如果您在两列上都有一个索引，则数据库不需要遍历那么多记录，因为它会知道哪些记录同时满足 2 个搜索条件。