MySQL：LEFT JOIN 和 ORDER BY 的组合很慢

Question

有两个表：posts（~5,000,000 行）和relations（~8,000 行）。

posts 列：

-------------------------------------------------
|  id  |  source_id  |  content  |  date (int)  |
-------------------------------------------------

relations 列：

---------------------------
|  source_id  |  user_id  |
---------------------------

我编写了一个 MySQL 查询从posts 获取与特定用户相关的 10 条最新行：

SELECT      p.id, p.content
FROM        posts AS p
LEFT JOIN   relations AS r
ON          r.source_id = p.source_id
WHERE       r.user_id = 1
ORDER BY    p.date DESC
LIMIT       10

但是，执行它需要大约 30 秒。

我已经在relations 为(source_id, user_id)、(user_id) 和(source_id)、(date)、(date, source_id) 在posts 有索引。

EXPLAIN 结果：

如何优化查询？

Answer 1

试试这个

    SELECT p.id, p.content FROM posts AS p
    WHERE p.source_id IN (SELECT source_id FROM relations WHERE user_id = 1)
    ORDER BY  p.date DESC
    LIMIT       10

Answer 2

您可以在帖子表的日期列上放置一个索引，我相信这将有助于提高排序速度。

您还可以尝试在使用一些额外的 where 语句进行排序之前减少结果数量。例如，如果您知道今天可能有 10 条记录具有正确的 user_id，您可以将日期限制在今天（或 N 天前，具体取决于您的实际数据）。

Answer 3

我会考虑以下几点：-

首先，您只需要与用户相关的帖子中最近的 10 行。所以，INNER JOIN 应该就可以了。

SELECT      p.id, p.content
FROM        posts AS p
JOIN        relations AS r
ON          r.source_id = p.source_id
WHERE       r.user_id = 1
ORDER BY    p.date DESC
LIMIT       10

如果要获取没有relations 映射的记录，则需要LEFT JOIN。因此，执行LEFT JOIN 会导致对左表进行全表扫描，根据您的信息，该表包含约 5,000,000 行。这可能是您查询的根本原因。

为了进一步优化，考虑将WHERE 子句移到ON 子句中。

SELECT      p.id, p.content
FROM        posts AS p
JOIN        relations AS r
ON          (r.source_id = p.source_id AND r.user_id = 1)
ORDER BY    p.date DESC
LIMIT       10

Answer 4

您的 WHERE 子句将您的外连接呈现为纯粹的内连接（因为在外连接的伪记录中 user_id 将始终为空，从不为 1）。

如果你真的希望这是一个外部连接，那么它完全是多余的，因为posts 中的每条 记录当然在relations 中要么有匹配，要么没有匹配。您的查询将是

select id, content 
from posts 
order by "date" desc limit 10;

如果你真的不希望这是一个外连接，但想要在relations 中匹配，那么我们讨论的是表中的存在，EXISTS 或 @987654327因此@子句：

select id, content
from posts
where source_id in
(
  select source_id
  from relations
  where user_id = 1
)
order by "date" desc
limit 10;

relations(user_id, source_id) 上应该有一个索引 - 按此顺序，因此我们可以先选择 user_id 1 并获取所有需要的 source_id 的数组，然后查找。

当然，您还需要一个您可能已经拥有的posts(source_id) 上的索引，因为source_id 是一个ID。您甚至可以使用复合索引 posts(source_id, date, id, content) 加快处理速度，因此不必再读取表本身 - 所需的所有信息都已在索引中。

更新：这是相关的EXISTS 查询：

select id, content
from posts p
where exists
(
  select *
  from relations r
  where r.user_id = 1
  and r.source_id = p.source_id
)
order by "date" desc
limit 10;

Answer 5

我会尝试对关系使用复合索引：

INDEX source_user (user_id,source_id)

并将查询更改为：

SELECT      p.id, p.content
FROM        posts AS p
INNER JOIN   relations AS r 
ON ( r.user_id = 1 AND r.source_id = p.source_id )
ORDER BY    p.date DESC
LIMIT       10