【问题标题】:How to disable MySQL Query Caching如何禁用 MySQL 查询缓存
【发布时间】:2013-04-09 06:21:57
【问题描述】:

我正在尝试对不同列上的不同查询进行一些基准测试,但 MySQL 不允许我这样做。在第一次执行查询后,我再也无法为该查询获得相同的执行时间。例如,如果查询第一次在 0.062 秒内执行,我永远无法在第二次、第三次等运行中获得相同的执行时间。它变成 0 秒或类似 0.015。

我已经阅读了很多关于禁用和清除 MySQL 查询缓存的帖子,但没有一篇对我有任何帮助。

like this SO post here

无论我做什么,MySQL 似乎都坚持使用缓存结果。

我重新启动 MySQL Workbench 然后运行;

set global query_cache_type=0;
set global query_cache_size=0;
flush query cache;
reset query cache;

执行时间一直显示0秒。

我无法更改的唯一服务器变量是“have_query_cache”。它的值为“yes”,当我尝试将其设置为“no”时,Workbench 说它是只读的。

我也是;

set profiling=1;
run my select query
show profile for query 2;

分析结果表明:

'starting', '0.000077'
'checking permissions', '0.000007'
'Opening tables', '0.000016'
'init', '0.000035'
'System lock', '0.000009'
'optimizing', '0.000013'
'statistics', '0.000094'
'preparing', '0.000008'
'executing', '0.000002'
'Sending data', '0.000016'
'end', '0.000002'
'query end', '0.000003'
'closing tables', '0.000005'
'freeing items', '0.000139'
'cleaning up', '0.000009'

如果我没记错,这表明没有使用缓存对吗?但我仍然看到 0 秒。执行时间。

编辑:我正在运行的查询是使用“SQL_NO_CACHE”的 SELECT 查询,如下所示:

SELECT SQL_NO_CACHE col1,now() from mytable where col2="some_value"

(我添加了 now() 函数来帮助我防止查询缓存)

Edit2:我使用的是innoDB,MySQL 5.6.10

谁能帮帮我,因为我看不到这里发生了什么。

非常感谢!

【问题讨论】:

  • 如果数据库的负载很高,有时查询运行时间是否可能超过 0 秒?
  • 这是题外话,属于 dba.stackexchange.com
  • @Slowcoder 我不明白你的意思,但现在数据库上没有负载。我正在本地开发机器上进行这些测试。
  • 我尝试在您的帖子中运行这 4 个第一个命令,在每个查询之后..它似乎工作。现在,连续运行多次查询所需的时间几乎相同。

标签: mysql caching


【解决方案1】:

这可能是由于数据本身的缓存,而不是查询缓存。

为确保您可以通过在 SELECT 语句后添加 SQL_NO_CACHE 来禁用单个语句的查询缓存。

例如:

SELECT SQL_NO_CACHE field FROM table.

【讨论】:

  • 我很抱歉没有在我的查询中提及我对 SQL_NO_CACHE 的使用。编辑了我的问题。
  • 您的查询根本没有使用查询缓存。它要么使用缓冲池(如果使用 innodb),要么使用 os 缓存(如果使用 myisam)。
  • 我正在使用 innoDB。我认为即使它是缓冲池(正如 Quassnoi 也在下面提到的),我不应该得到 200 万行的 0 秒执行时间,对吧?有没有办法禁用/重置缓冲池来检查这个选项?
  • 清除缓冲池的唯一方法是重启 MySQL 实例。
  • 这完全不起作用(至少对于我与 MySQL 数据库的连接而言。获得准确结果的唯一方法是在重新运行查询之前“重新连接”。
【解决方案2】:

第一次运行查询会使InnoDB 缓冲池填充您表的相关块。

由于重新运行查询需要完全相同的块,它使查询无需在重新运行时从磁盘读取它们,从而显着加快速度。

【讨论】:

  • 会不会快得多,从 0.062 秒到 0 秒! 200 万行中的秒数?
  • @sr 但它会。磁盘非常慢。从内存加载数据比从磁盘加载数据快得离谱..
  • @Quassnoi,mysql 缓冲池什么时候失效?我想知道从过时的块中检索结果时的不一致。
  • @Quassnoi,根据您对 innoDB 缓冲池的指导,我进行了一些研究,并在下面的答案中分享了我的发现和想法。你能确认这个答案吗?如果是这样,我相信我应该将您的答案标记为已接受,并给 TheVedge 一些学分。
  • @Sebas:从不,它总是保存有效数据。
【解决方案3】:

您可以验证缓冲池页面读取与必须进入磁盘才能获取页面的页面读取之间的区别:

mysql> SHOW SESSION STATUS LIKE 'Innodb_buffer_pool_read%';
mysql> ...run a query...
mysql> SHOW SESSION STATUS LIKE 'Innodb_buffer_pool_read%';

比较报告中的这些值,并注意它们增长了多少:

+---------------------------------------+----------+
| Variable_name                         | Value    |
+---------------------------------------+----------+
| Innodb_buffer_pool_read_requests      | 10327490 |
| Innodb_buffer_pool_reads              | 1133     |
+---------------------------------------+----------+

read_requests 是逻辑页面读取,可能从缓冲池中已经存在的页面中读取。如果这个数字在您的查询之后增长,但 reads 没有增长,那么您的查询仅从缓冲池中获取结果。

reads 是必须输出到磁盘并产生 I/O 成本以将页面复制到缓冲池中的页面读取次数。如果查询后该数字增加,则它必须从磁盘加载数据。

有关内存访问与磁盘访问性能之间的差异的更多信息,请阅读http://everythingisdata.wordpress.com/2009/10/17/numbers-everyone-should-know/


你的评论:

“打开表”与 InnoDB 表的内存缓存有关,有点像数据字典。表在重新启动后第一次被引用时打开。内存数据字典中给定表的条目无限期地保留在内存中,因此如果您有数千个表,内存使用量可能会变得非常大。在 MySQL 5.6 中,他们有一些调整变量来限制内存使用,并驱逐不经常使用的表。但这整个机制与缓冲池是分开的,缓冲池存储数据页和索引。

“统计”也与缓冲池分开。 InnoDB 维护有关数据和索引的内存统计信息,用于指导查询优化器。当您第一次访问 InnoDB 表时,当您运行 SHOW TABLE STATUS 或针对 INFORMATION_SCHEMA 运行某些查询时,当您运行 ANALYZE TABLE 时,以及当表的大小发生显着变化时,统计信息会自动刷新。 InnoDB 从表中随机读取固定数量的页面生成这些统计信息,如果您有冷缓冲池,这很可能会命中磁盘。

【讨论】:

  • Bill,感谢您提供的信息,我会尽快尝试(CMMI 评估现在要花我一整天的时间)。您如何看待我上面的回答?你认为我在正确的轨道上,我得到的缓冲池正确吗?您在我的答案中看到我错了吗?非常感谢。
  • @Bill,那么有什么方法可以停止所有这些 InnoDB 缓冲和缓存?
  • @Pacerier,我不知道你为什么要问。您想要缓存打开的表和索引统计信息,因为另一种方法是在每次执行查询时从磁盘读取它。
  • @BillKarwin,在进行测量时,我想禁用它,以便我们可以对苹果进行测量。
  • @WilsonHauck,不。SQL_NO_CACHE 确保不会从查询缓存中读取查询结果。但是 InnoDB 缓冲池是一种不同的缓存机制。缓冲池存储 InnoDB 页面。查询缓存存储完整的查询结果。它们用于不同的事情。没有绕过 InnoDB 缓冲池的查询选项。
【解决方案4】:

好的。所以我一直在研究这个 innoDB 缓冲池问题。谢谢@Quassnoi,@TheVedge 提到这一点。它对以下工作非常有用。

我试图找到一种方法来禁用或重置 innoDB 缓冲池,但除了重新启动 MySQL 服务器之外,我还没有找到其他方法。 (要在 windows 框中重新启动服务器,您可以使用 services.msc 或命令提示符。)

我猜所有配置变量设置和“SQL_NO_CACHE”的使用足以避免使用缓存,并且检查分析结果我也没有看到任何缓存引用(查看原始帖子)。

然后我决定在重启 MySQL 服务器后检查相同查询的第 1 次和第 2 次运行的分析。这样我就可以一步一步地看到查询执行过程中发生了什么。

服务器重启后的第一次运行产生了以下步骤和时间:

'starting', '0.000078'
'checking permissions', '0.000005'
'Opening tables', '0.120329'
'init', '0.000107'
'System lock', '0.000012'
'optimizing', '0.000024'
'statistics', '0.065317'
'preparing', '0.000026'
'executing', '0.000003'
'Sending data', '0.000038'
'end', '0.000005'
'query end', '0.000006'
'closing tables', '0.000014'
'freeing items', '0.000463'
'cleaning up', '0.000039'

这些是第二次运行的结果:

'starting', '0.000068'
'checking permissions', '0.000006'
'Opening tables', '0.000019'
'init', '0.000046'
'System lock', '0.000007'
'optimizing', '0.000010'
'statistics', '0.000073'
'preparing', '0.000009'
'executing', '0.000002'
'Sending data', '0.000035'
'end', '0.000003'
'query end', '0.000003'
'closing tables', '0.000006'
'freeing items', '0.000181'
'cleaning up', '0.000015'

如您所见,两次执行之间的“打开表”和“统计”操作的持续时间存在巨大差异,并且没有任何执行引用任何缓存。

这两个动作似乎是第一次执行中最耗时的部分(我相信这是创建 innoDB 缓冲池的一部分),一旦池生成,这两个动作就不会那么频繁地执行,因此时间要短得多缓冲池创建后查询的执行时间。

当您总结第二次运行的各个步骤的执行时间时,我们得到 0.000483 秒,我认为 MySQL 工作台将此结果显示为 0.000 秒,这也可能会让您认为第二次运行是缓存使用的结果,但实际上似乎不是。这只是查询执行持续时间的显示精度问题。

因此,到目前为止,我发现我实际上已经能够禁用缓存的使用,并且是 innoDB 缓冲池的完成大大加快了第二次查询的速度。这也意味着我可以在 0.000483 秒内找到 200 万行中的记录。

你同意吗?

【讨论】:

    【解决方案5】:

    在 [mysqld] 部分的 .ini/.cfg 中,添加一行 have_query_cache=0 # to prevent using resources from default of yes ccyy/mm/dd your initials。使用您的其他更改,关闭/重新启动 MySQL。您不应在概况研究中观察任何 QC 活动。

    【讨论】:

      猜你喜欢
      • 2010-12-25
      • 2014-03-25
      • 1970-01-01
      • 2020-02-23
      • 2010-09-07
      • 1970-01-01
      • 1970-01-01
      • 2011-03-07
      相关资源
      最近更新 更多