查询的性能差异

Question

首先，我们的环境是 PHP + MYSQL。 我们有一个表格 Articles，它是一个用来保存文本文章的表格。大约有15000条记录。 我们的查询存在性能问题：

SELECT article_id, article_title, article_status, 
     article_date_time, article_publish_date 
FROM articles 
WHERE article_status IN ('approved') 
   AND (article_publish_date <= now()) 
   AND ((article_expiry_date = '0000-00-00') OR 
       (article_expiry_date <> '0000-00-00' 
        AND article_expiry_date >= now())) 
   AND articles_id IN (1, 2, 3... a list of about 9,000 possible ID's)
GROUP BY article_id
ORDER BY article_date_time DESC LIMIT 0,5;

在我们的测试站点（db server 和 web server 在同一台机器上），如果我第一次运行查询，查询的执行时间大约是 30 秒。 还是在测试站点，如果我只是刷新页面第二次运行查询，查询的执行时间大约是0.2秒。

如果一直刷新，执行时间还是0.2秒左右。但是如果我停止大约 15 分钟，执行时间又会是 30 秒，然后是 0.2 秒...

问题 1 来了：第一次执行和第二次执行之间的巨大差异是什么？缓存？如果是这样，那么它是如何产生影响的呢？

仍然是同一个查询，在我们的实时站点中（仍然，db server 和 web server 在同一台机器上），查询的执行时间约为 3 秒。但是无论您运行多少次查询，时间都在 3 秒左右。

test db 是 live db 的备份，所以 db 的差异不应该造成如此不同的结果。

那么问题2来了：为什么live site的执行时间不是30秒也不是0.2秒？为什么在第二次执行时它不会改变？

有人可以帮忙吗？

Answer 1

问题几乎可以肯定是In (... list of 9000 Id ....) 第一次执行查询时，SQL 查询处理器必须从磁盘读取数据。在此过程中，它可能将数据存储在高速缓存中。第二次，数据还在缓存中，所以都是RAM访问。 In 子句（因为它被转换成 9000 次重复 Or articles_id = id1 Or articles_id = id2 Or articles_id = id3 ... 需要很长时间。 （虽然我不完全确定为什么......

我建议（至少，作为确认这一点的测试）将这 9000 个 ID 放入一个表中，然后重写查询以加入该表。然后，如果该测试表明这就是问题所在，请重写您的查询。

我对 MySQL/Php 的了解还不够，无法知道这是否可行。但在带有 .Net 的 SQL Server 中，您可以在客户端 (ADO.Net) 代码中，创建整数或字符串 Id 值的集合，并在单个 SQL 或存储过程参数中将该集合传递给数据库，其中将像一张表一样被使用，（例如，您可以在 SQL 连接语句中引用 t ）您可能想研究 MySQL，看看在 PHP/MySQL 中是否可以这样做或类似的东西。否则，请考虑创建这 9000 + Id 的分隔列表并将其传递给 MySQL 存储过程，然后在 SP 内部对其进行解析以将其转换为您可以加入的表。

Answer 2

快速重复响应的原因是 MySQL 可以缓存查询；查询不仅第二次运行得更快：它根本没有运行，因为系统检测到它已经看到查询并且仍然有结果。要禁用查询缓存以进行测试，您可以set the server's query cache size to zero。要禁用单个查询的缓存，请在 SELECT 之后添加 SQL_NO_CACHE。

9000个ID列表是性能缓慢的明显罪魁祸首；但他们是从哪里来的？如果它们在查询中被硬编码，您必须提前知道它们是什么。在这种情况下，更快的解决方案是修改表架构并添加一个记录 ID 是否合格的列。但正确的解决方案实际上取决于 ID 的确定方式。

编辑：由于文章 ID 列表来自一个复杂的查询，您应该将这两个查询合并为两个。最简单的方法是将 article-id 查询嵌入为子查询：

SELECT article_id, article_title, article_status, ...
FROM articles
WHERE ...
    AND article_id IN (SELECT article_id from <subquery conditions>)

但如果您不厌其烦地将查询重写为真正的联接，服务器将能够更好地优化您的查询。

其他（次要）问题：以下子句是多余的。

((article_expiry_date = '0000-00-00') OR 
   (article_expiry_date <> '0000-00-00' 
    AND article_expiry_date >= now()))

如果前半部分为假，第二个比较将始终为真；因此您应该将其简化为

(article_expiry_date = '0000-00-00' OR article_expiry_date >= now())

要查看您的程序将时间花在哪里，请向服务器发送一个手工制作的查询，前面带有 EXPLAIN，然后研究结果：

EXPLAIN SELECT article_id, article_title, article_status,
    ...

Answer 3

我认为首先尝试优化查询很重要，而不是回答为什么它在两台服务器上以不同的时间运行的问题。 首先，您需要避免与IN 运算符一起使用的大量文字。

我建议添加另一个字段 表示此in 操作的结果：

ALTER TABLE articles ADD (
   flag int
);

UPDATE articles
SET   article_flag =
  CASE 
    WHEN article_id IN (1, 2, 3... a list of about 9,000 possible IDs) THEN 1
    ELSE 0
  END;

COMMIT;

如果还没有完成，请确保在article_date_time 上建立索引：

CREATE INDEX idx_article_date_time ON articles(article_date_time);

然后在没有group by 和一个冗余条件的情况下使用这个查询：

SELECT article_id, article_title, article_status, 
       article_date_time, article_publish_date 
FROM   articles 
WHERE  article_status = 'approved'
       article_flag = 1
   AND article_publish_date <= now()
   AND (   article_expiry_date = '0000-00-00' 
        OR article_expiry_date >= now()
       ) 
ORDER BY article_date_time DESC LIMIT 0,5;

如果你这样做，我预计性能会有所提高。