查询 MySQL 数据库数十次以允许有效缓存比一些缓存较少的大型查询更好吗？答案

【问题标题】：Is querying a MySQL database dozens of times in order to allow effective caching better than a few large queries with less caching?查询 MySQL 数据库数十次以允许有效缓存比一些缓存较少的大型查询更好吗？
【发布时间】：2013-08-20 20:41:04
【问题描述】：

在我的应用程序中，我尝试在尽可能少的查询中获取我需要的所有数据。这通常会导致具有许多连接的大型查询。这限制了您可以使用 Memcache 或 Redis 等软件缓存的内容（据我所知）。对于大型查询，您不知道哪些部分可能已被缓存。似乎您必须以较小的部分查询所有内容，以便可以单独缓存这些小部分。这个想法是您只需要执行几十个小查询即可填充缓存，并且大多数情况下您将访问缓存而不是查询。这就是高流量 PHP/MySQL 网站的处理方式吗？即使您有包含许多连接的大型查询，是否有一种有效缓存的好方法？

例子：

SELECT user.name, user.birthday 
FROM follower
    INNER JOIN user ON (user.id = follower.user)
WHERE follower.following = '1'

此查询的结果包括关注用户 1 的任何用户的姓名和生日。此查询的结果可以被缓存，但这仅在获取用户 1 的关注者时才有用。

替代方案：

SELECT follower.user
FROM follower
WHERE follower.following = '1'

对于每个结果，使用 ?由上一个查询中的 follower.user 填充：

SELECT name, birthday FROM user where user.id = ?

在这种情况下，我们可以在从 MySQL 查询之前检查用户 ? 的姓名和生日是否被缓存。如果它们没有被缓存，或者有些被缓存而有些没有，那么抓取丢失的并缓存它们。您还可以缓存关注者 ID 列表，然后下次不需要运行任何查询。不同之处在于，用户的姓名和生日将对最终需要在任何其他上下文中了解这些关注者的任何其他用户有用。

我是否在缓存较大查询时遗漏了什么？还是第二种方式是正确的方式？

【问题讨论】：

“这通常会导致带有很多连接的大型查询”，也意味着很多结果行？
我相信 PHP 有某种 prepare_query 函数，它可以对查询做一些工作，然后你所要做的就是设置参数来运行它。这些准备好的语句可以使大量查询的执行速度更快，因为数据库引擎不必在它们之前进行所有准备工作。

标签： php mysql caching

【解决方案1】：

正确答案是：视情况而定。

缓存是一种优化公认的使用模式的方法，它通过重复使用前一次运行的数据来快速生成重复昂贵的数据。

因此，您应该回答的第一个问题是：是否存在观察到的重复使用模式，该模式具有显着的“昂贵”数据生成步骤？如果没有：不要使用你仍然不需要的缓存，等到你可以观察到一些东西。

您应该能够回答的第二个问题是：您能否测量使用和不使用缓存需要多长时间，并且差异是否明显？

要回答的第三个重要问题是：如果原始数据发生更改，并且希望立即显示新数据，如何从缓存中清除过时信息？

因此，在您的情况下，您要问是否将缓存用于大量小型但看似更通用的查询然后组合起来比缓存一个大查询更有益。没有理论上的答案，因为它取决于一个大结果的缓存命中与组合结果的多个缓存命中相比有多快。向缓存发出多个请求可能比从原始源获取数据要慢得多，并且将数据组合成所需的复杂结果也可能比直接从缓存中获取一个复杂结果要慢。

此外，如果对组合结果使用多个缓存条目，您现在必须处理很多情况，其中只有部分信息已过时，而其他信息则未过时。所以结果变得更加不可靠 - 你不能确定结果的每个部分是否都是最新的，或者它有多旧。

【讨论】：

【解决方案2】：

@Sven 你说得对！我添加了更多原始建议。

@Barakat 大查询通常对 MySql 来说没什么大不了的，精心设计的数据库、索引和调整引擎参数通常会带来高性能。

做很多小查询会导致很多开销（缓存或不缓存），我通常会避免这种情况。

如果您的大查询给出大结果（十万行），您可能可以避免它对结果进行分页或将答案限制为最佳分数。

MysqlTuner.pl 是一个非常简单有效的 mysql 服务器调优工具，因为您可以使用 MySql internal 缓存而不用担心连贯性！

【讨论】：