在 SQL 上对粒度样本进行平均最简单的方法

Question

所以我有一个相当大的表格，其中包含精细的价格变动（使用 MariaDB）。

CREATE TABLE `table` (
 `num` int(11) NOT NULL AUTO_INCREMENT,
 `datetime` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
 `pairs` varchar(40) NOT NULL,
 `price` decimal(16,10) NOT NULL,
 `volume` decimal(22,10) NOT NULL,
 PRIMARY KEY (`num`),
 KEY `datetime_pairs` (`pairs`,`datetime`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=latin1

当数据超过 x 天时，我想按输入的类型计算这些价格的每小时平均值。对于这个例子，我需要 7 天。我想出了这个查询。

SELECT `num`, `datetime`, `pairs`, `price`, `volume`, 
    AVG(`price`) AS `priceAVG`, AVG(`volume`) AS `volumeAVG`
FROM table
WHERE DATE_FORMAT(`datetime`, '%Y-%m-%d %H:00:00') 
    < DATE_FORMAT(DATE_SUB(NOW(),INTERVAL 7 DAY), '%Y-%m-%d %H:00:00')
GROUP BY DATE_FORMAT(`datetime`, '%Y-%m-%d %H:00:00'), `pairs`

查询运行大约需要 25 秒。我不认为我可以优化它。 这可能会打印出我正在寻找的结果......但是，一旦我有数据可以使用，我真的不确定回答我的问题的最佳做法是什么。

插入这个结果，并删除旧数据？它会弄乱主键号num，使其与datetime 的排序方式不一致。

使用 SELECT 查询的结果更新旧数据，并删除旧数据减去那些更新的行？这就是我目前正在努力实现的目标......

我认为重复的表可能不是一个选项，因为我有一百个这样的表要处理，而且 cpu 资源也是需要考虑的。我正在使用 cron 和 php 来转换这些查询。我可能每 12 或 24 小时执行一次此操作。

在这种情况下合适的方法是什么？

更新查询是一种现实的处理方式吗？

Answer 1

• 有什么理由使用 11 字节 decimal(22,10) 而不是简单的 4 字节 FLOAT？

• 在执行GROUP BY 时选择num、datetime、pairs、price、volume 没有意义。

• 构建和维护一个汇总表，按小时细分。然后从该表构建报告。 http://mysql.rjweb.org/doc.php/summarytables

• 两个具有相同(datetime, pairs) 组合的条目是否有任何变化？如果不摆脱 id 并将其设为 2 列 PRIMARY KEY。

• 同时，您可以部分优化查询

过去一周到当前时间的每小时平均值，但不包括当前时间：

SELECT  LEFT(`datetime`, 13) AS the_hour,
        pairs,
        AVG(`price`)  AS `priceAVG`,
        AVG(`volume`) AS `volumeAVG`
    FROM `table`
    WHERE `datetime` >= DATE_FORMAT(NOW() - INTERVAL 7 DAY), '%Y-%m-%d %H:00:00')
      AND `datetime`  < DATE_FORMAT(NOW(), '%Y-%m-%d %H:00:00')
    GROUP BY LEFT(`datetime`, 13), pairs

还有

INDEX(datetime)

摘要表方法是最复杂的，但可以为您带来最大的收益。

Answer 2

1. 使用DATE_FORMAT() 将日期转换为字符串效率低下。直接比较日期。
2. 比较字符串效率低下。直接比较日期。
3. datetime 字段上没有索引。不，datetime_pairs 不算数，因为：
   • pairs 不参与。
   • datetime 不是复合键中的第一项。

所以：

CREATE TABLE `table` (
 `num` int(11) NOT NULL AUTO_INCREMENT,
 `datetime` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
 `pairs` varchar(40) NOT NULL,
 `price` decimal(16,10) NOT NULL,
 `volume` decimal(22,10) NOT NULL,
 PRIMARY KEY (`num`),
 KEY `datetime` (`datetime`), -- change
 KEY `pairs` (`pairs`)        -- change
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=latin1

还有：

SELECT `num`, `datetime`, `pairs`, `price`, `volume`, 
    AVG(`price`) AS `priceAVG`, AVG(`volume`) AS `volumeAVG`
FROM table
-- DATE(datetime) is the same as 00:00:00 on that day, but is
-- a DATE type that can be efficiently compared
WHERE `datetime` < DATE(DATE_SUB(NOW(),INTERVAL 7 DAY)
GROUP BY DATE(`datetime`), `pairs`

而您仍然会受到GROUP BY DATE(datetime) 的限制，因为没有可使用的索引。您可能想要添加一个简单的 date DATE NOT NULL 列，以便您可以在其上利用索引，尽管上述内容应该已经大大减少了所需的时间。

此外，查询中的列num, datetime, price, volume 将毫无意义，因为它们没有在GROUP BY 语句中引用。

此外，历史数据不会发生变化，因此您永远不必多次汇总每日数据。存储每日聚合（如平均值和计数）足以在顶部构建更大的聚合。例如：

SELECT AVG(daily_count * daily_average) AS 'weekly_average'
FROM daily_aggregates
WHERE datestamp > DATE(NOW() - INTERVAL 7 DAY)

利用缓存。我已经看到了很多很多性能问题，因为开发人员在永远不会改变的巨大历史数据集上反复运行完全相同的计算。像缓存每日聚合这样简单的事情可以将数据集从每年数千或数百万个项目减少到仅 365 个。

Answer 3

您似乎也需要时间，而不仅仅是日期？所以我猜只是比较日期部分对你没有帮助。

1. 添加一个persistent generated column，它为您提供来自datetime 的带有小时但没有分钟或秒（它们设置为0）的日期。

   ALTER TABLE `table`
               ADD (`date_to_the_hour` date AS (date(`datetime`) + INTERVAL hour(`datetime`) HOUR) PERSISTENT);
   

2. 在该列和pairs上放置一个索引。

   CREATE INDEX `date_to_the_hour_pairs`
                ON `table`
                   (`date_to_the_hour`,
                    `pairs`);
   

3. 更改您的选择以与新列进行比较。

   SELECT `num`,
          `datetime`,
          `pairs`,
          `price`,
          `volume`, 
          AVG(`price`) `priceAVG`,
          AVG(`volume`) `volumeAVG`
          FROM `table`
          WHERE `date_to_the_hour` < date(now() - INTERVAL 7 DAY) + INTERVAL hour(now()) HOUR
          GROUP BY `date_to_the_hour`,
                   `pairs`;
   

这可能会加快速度。