如何为 MASSIVE MySQL 表上的计算列优化 ORDER BY

Question

我有一个非常大（80+ 百万行）的非规范化 MySQL 表。简化的架构如下所示：

+------------+-------------+--------------+-------- ------+ |身份证 |参数1 |参数2 |参数3 | +------------+-------------+--------------+-------- ------+ | 1 | .04 | .87 | .78 | +------------+-------------+--------------+-------- ------+ | 2 | .12 | .02 | .76 | +------------+-------------+--------------+-------- ------+ | 3 | .24 | .92 | .23 | +------------+-------------+--------------+-------- ------+ | 4 | .65 | .12 | .01 | +------------+-------------+--------------+-------- ------+ | 5 | .98 | .45 | .65 | +------------+-------------+--------------+-------- ------+

我正在尝试查看是否有一种方法可以优化查询，其中我将权重应用于每个 PARAM 列（其中权重在 0 和 1 之间），然后对它们进行平均以得出计算值 SCORE。然后我想按该计算的 SCORE 列排序。

例如，假设 PARAM1 的权重为 0.5，PARAM2 的权重为 0.23，PARAM3 的权重为 0.76，您最终会得到类似于：

SELECT ID, ((PARAM1 * .5) + (PARAM2 * .23) + (PARAM3 * .76)) / 3 AS SCORE 

ORDER BY SCORE DESC LIMIT 10

通过一些适当的索引，这对于基本查询来说很快，但我想不出一个好方法来加快对如此大的表的上述查询。

详情：

• 每个 PARAM 值都在 0 和 1 之间
• 应用于 PARAMS 的每个权重在 0 到 1 s 之间

--编辑--

以下是问题的简化版本。

这会在合理的时间内运行：

SELECT value1, value2 
FROM sometable 
WHERE id = 1 
ORDER BY value2

这不会在合理的时间内运行：

 SELECT value1, (value2 * an_arbitrary_float) as value3 
 FROM sometable 
 WHERE id = 1 
 ORDER BY value3

使用上面的示例，是否有任何解决方案可以让我在不提前计算 value3 的情况下执行 ORDER BY？

Answer 1

我知道这个问题很老，但我最近遇到了这个问题，我想出的解决方案是使用派生表。在派生表中，创建计算列。在外部查询中，您可以按它排序。对于我的工作量（数量级），它似乎运行得更快。

SELECT value1, value3
FROM (
    SELECT value1, (value2 * an_arbitrary_float) as value3 
    FROM sometable 
    WHERE id = 1 
) AS calculated
ORDER BY value3

Answer 2

我发现 2 个（有点明显）有助于将此查询速度提高到令人满意的水平：

1. 尽量减少需要排序的行数。通过使用“id”字段上的索引和子选择来首先修剪记录数，计算列上的文件排序并没有那么糟糕。即：

   SELECT t.value1, (t.value2 * an_arbitrary_float) as SCORE
   FROM (SELECT * FROM sometable WHERE id = 1) AS t 
   ORDER BY SCORE DESC
   

2. 尝试在 my.conf 中增加 sort_buffer_size 以加快这些文件排序。

Answer 3

MySQL 缺少许多可以帮助您解决此问题的性感功能。也许您可以添加一个包含计算排名的列，为其编制索引并编写几个触发器以保持更新。