如何提高`INSERT INTO SELECT x FROM y GROUP BY z` MySQL 查询的性能

Question

我有以下查询导致 CPU 使用率达到最大值（严重降低服务器上运行的其他所有内容的性能）并且需要几分钟才能运行。

INSERT INTO cache (`time`, name, price, low, high, week, month, season)
SELECT
    MAX(`time`) AS `time`,
    name,
    MIN(CASE WHEN `time` = 1500254967 THEN price ELSE 999999 END) AS price,
    MIN(price) AS low,
    MAX(price) AS high,
    SUM(CASE WHEN `time` > 1499650167 AND price = 1 THEN 1 ELSE 0 END) / SUM(CASE WHEN `time` > 1499650167 THEN 1 ELSE 0 END) AS week,
    SUM(CASE WHEN `time` > 1497835767 AND price = 1 THEN 1 ELSE 0 END) / SUM(CASE WHEN `time` > 1497835767 THEN 1 ELSE 0 END) AS month,
    SUM(CASE WHEN `time` > 1499995767 AND price = 1 THEN 1 ELSE 0 END) / SUM(CASE WHEN `time` > 1499995767 THEN 1 ELSE 0 END) AS season
FROM low_price
GROUP BY name;

解释告诉我：

+----+-------------+-----------+-------+---------------+----------+---------+------+----------+-------+
| id | select_type | table     | type  | possible_keys | key      | key_len | ref  | rows     | Extra |
+----+-------------+-----------+-------+---------------+----------+---------+------+----------+-------+
|  1 | SIMPLE      | low_price | index | idx_name      | idx_name | 603     | NULL | 20875117 | NULL  |
+----+-------------+-----------+-------+---------------+----------+---------+------+----------+-------+

在我的非专家眼中看起来不错。

low_price 表中有 1200 万行可供选择。理想情况下，应该允许这个表从这里开始增长，但可以将它修剪到这个大小作为最大值。使其更小将导致数据丢失。我们可以每天一次而不是每小时一次来获取数据，以使其大小变为原来的 1/24，但如果有其他方法，我不希望这样做。

表定义为：

CREATE TABLE `low_price` (
  `time` int(11) DEFAULT NULL,
  `price` int(11) DEFAULT NULL,
  `name` varchar(150) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  KEY `idx_name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

CREATE TABLE `cache` (
  `time` int(11) DEFAULT NULL,
  `name` varchar(150) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `high` int(11) DEFAULT NULL,
  `low` int(11) DEFAULT NULL,
  `price` int(11) DEFAULT NULL,
  `week` double DEFAULT NULL,
  `month` double DEFAULT NULL,
  `season` double DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

此查询不会在用户时间运行。它正在设置在用户时间使用的缓存表。因此，加快速度的最佳选择的替代方法就是告诉它“嘿，不要使用这么多 CPU”。我有点讨厌走那条路，因为它所花费的时间已经很长了，以至于它会开始在每小时运行时自行运行。

你对我有什么建议吗？生成此表的替代样式或改进此特定 INSERT 的注意事项？谢谢！

Answer 1

(name, time, price) 上的复合索引会有所帮助，因为它是一个覆盖索引。

我还将查询写为：

INSERT INTO cache (`time`, name, price, low, high, week, month, season)
    SELECT MAX(`time`) AS `time`,
           name,
           MIN(CASE WHEN `time` = 1500254967 THEN price END) AS price,
           MIN(price) AS low, MAX(price) AS high,
           AVG(CASE WHEN `time` > 1499650167 AND price = 1 THEN 1.0
                    WHEN `time` > 1499650167 THEN 0
               END) AS week,
           AVG(CASE WHEN `time` > 1497835767 AND price = 1 THEN 1.0
                    WHEN `time` > 1497835767 THEN 0.0
               END) AS month,
           AVG(CASE WHEN `time` > 1499995767 AND price = 1 THEN 1.0
                    WHEN `time` > 1499995767 THEN 0.0
               END) AS season
    FROM low_price
    GROUP BY name;

这些变化对性能没有太大帮助；我只是觉得AVG() 比两个SUM()s 简单，而且我不喜欢像999999 这样的任意值。

Answer 2

很难准确，但我会尝试使用以下键在 low_price 表上再定义一个（当然不是主键）索引：

name,
time,
price

这可以帮助基于时间和价格的子查询。
提醒一下，索引中的键顺序很重要。

Answer 3

innodb_buffer_pool_size 应设置为可用 RAM 的大约 70%。在此之下，您可能会受到 I/O 限制（慢 10 倍）。在那之后，你就有被交换的风险（这更糟）。

您可以缩小数据集以节省空间，从而减少 I/O。

• DOUBLE 占用 8 个字节——矫枉过正。请改用具有 7 位精度的 FLOAT（4 字节）。
• INT 占用 4 个字节，而且是多余的；没有代码超过 16M 是吗？ MEDIUMINT UNSIGNED 是 3 个字节，允许 0..16M。你删掉小数部分了吗？如果你想要分数，那么FLOAT 可能是最好的。
• 股票代码都是 ascii，当然不是 150 个字符。也许最多 8 个？即使这是全名，也将名称“规范化”到另一个表中，并将 JOIN 放在股票代码上。
• InnoDB 确实需要一个独特的PRIMARY KEY。对于low_price，它可能应该是PRIMARY KEY(name, time)，然后将KEY(name) 作为多余的。 cache 可能也需要。

我对查询中的时间戳感到困扰。它们似乎是像2017-07-09 18:29:27 这样的随机时间。您不想从整点回来吗？

而且，一天真的有 24 小时吗？市场关闭很多。

在你解决了这些问题之后，我们可以讨论如何编写一个汇总表，让你摆脱 cache 并进行实时查询！