MySQL：优化 COUNT(*) 和 GROUP BY

Question

我有一个简单的 MyISAM 表，类似于以下内容（为了便于阅读而进行了修剪——实际上，有更多列，所有列的宽度都是恒定的，其中一些可以为空）：

CREATE TABLE IF NOT EXISTS `history` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `time` int(11) NOT NULL,
  `event` int(11) NOT NULL,
  `source` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `event` (`event`),
  KEY `time` (`time`),
);

目前该表仅包含大约 6,000,000 行（其中当前大约 160,000 行与下面的查询匹配），但预计会增加。给定一个特定的事件 ID 并按源分组，我想知道在特定时间间隔内记录了多少具有该 ID 的事件。查询的答案可能类似于“今天，源 A 发生了 120 次事件 X，源 B 发生了 105 次，源 C 发生了 900 次”。

我编写的查询确实执行了这个任务，但是它执行得非常糟糕，当时间跨度设置为“所有时间”时需要一分钟多的时间才能执行，并且在短短一周内超过 30 秒：

SELECT COUNT(*) AS count FROM history
WHERE event=2000 AND time >= 0 AND time < 1310563644
GROUP BY source
ORDER BY count DESC

这不是实时使用的，所以即使查询需要一两秒钟也可以，但几分钟就不行。解释查询给出了以下内容，这让我很困扰，原因很明显：

id  select_type     table   type    possible_keys   key     key_len     ref     rows    Extra
1   SIMPLE          history ref     event,time      event   4           const   160399  Using where; Using temporary; Using filesort

我尝试了各种多列索引（例如（事件、时间）），但没有任何改进。这似乎是一个常见的用例，我无法想象没有合理的解决方案，但我的谷歌搜索都归结为我已经拥有的查询版本，没有关于如何避免临时的特别建议（即使这样，为什么性能如此糟糕）。

有什么建议吗？

Answer 1

您说您尝试过多列索引。您是否也尝试过单列索引，每列一个？

更新：另外，COUNT(*) 对 GROUP BY 子句的操作可能要快得多，如果分组列上也有索引...当然，这取决于实际在该列中但未编入索引的 NULL 值的数量。

对于event，MySQL 可以执行一个UNIQUE SCAN，这相当快，而对于time，将应用一个RANGE SCAN，这不是那么快......如果你分开索引，我' d 期望比使用多列的性能更好。

另外，也许您可​​以通过按一些预期值/值范围对表进行分区来获得一些好处：

http://dev.mysql.com/doc/refman/5.5/en/partitioning-overview.html

Answer 2

我建议你试试这个多列索引：

ALTER TABLE `history` ADD INDEX `history_index` (`event` ASC, `time` ASC, `source` ASC);

如果没有帮助，请尝试在此查询上强制索引：

SELECT COUNT(*) AS count FROM history USE INDEX (history_index)
WHERE event=2000 AND time >= 0 AND time < 1310563644
GROUP BY source
ORDER BY count DESC

Answer 3

如果来源已知或者您想查找特定来​​源的计数，那么您可以这样尝试。

从历史中选择count(source= 'A' or NULL) as A,count(source= 'B' or NULL) as B; 对于订购，您可以在您的应用程序代码中进行。也可以尝试同时索引事件和源。

这肯定会比旧的更快。