选择前100行后如何停止或限制选择？

Question

我有一个这样的查询 -

SELECT c.msisdn,SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
FROM cdr c 
WHERE c.eveDate>='2013-10-29'
GROUP BY c.msisdn 
ORDER BY datasum DESC;

这个需要 4 分钟。我有一个关于 evedate 的索引。

CDR 表包含从“2013-10-01”到“2013-10-30”每天的 2400000 条记录。但我只想选择前 100 条记录。我想如何优化这个查询。

我用过限制子句，但没有任何好处。

所以请告诉我如何优化这个查询。

谢谢。

Answer 1

你放了

LIMIT 100

在 .... ORDER BY datasum DESC 这里;

like .... ORDER BY datasum DESC LIMIT 100;

Answer 2

如果记录均匀分布，一天将有 ​​80k 行。 GROUP BY 超过 80k 的操作可能不需要 4 分钟（我猜）

我不确定您是否有以下索引：

INDEX(eveDate, msisdn)

使用上述索引，记录按 eveDate 和 msisdn 排序，因此优化了 GROUP BY 操作。即，相同的 msisdns 位于相同的块。我猜下面的查询比你的查询要快。

第一季度

SELECT x.msisdn, SUM(datasum)
FROM
(
    SELECT c.msisdn AS msisdn,
        SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
    FROM cdr c 
    WHERE c.eveDate>='2013-10-29'
    GROUP BY eveDate, c.msisdn 
) x
GROUP BY x.msisdn
ORDER BY SUM(datasum)
LIMIT 100;

或类似的东西。

第二季度

SELECT c.msisdn SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
FROM cdr c 
WHERE c.eveDate>='2013-10-29'
GROUP BY c.msisdn 
ORDER BY 100;

上面的查询比较简单，但是相同的msisdn 可以位于另一个eveDate。所以从INDEX(eveDate, msisdn) 中获益一点。如果您的磁盘有很大的可用空间，则执行 INDEX 只会执行 INDEX 扫描。不需要数据。所有必需的都在索引中

INDEX(eveDate, msisdn, dataVolumeDownLink, dataVolumeUpLink)

更新

hmm，如果数据只是追加，并且追加的数据永远不会改变。我想知道是否每天都做一个汇总表。

CREATE TABLE summary(eveDate, msisdn, datasum, INDEX(eveDate, msisdn);

每晚通过 cronjob 运行以下查询

INSERT INTO summary
SELECT NOW() c.msisdn,SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
FROM cdr c 
WHERE c.eveDate = NOW()
GROUP BY c.msisdn 

那么您的查询将非常简单。

SELECT msisdn, SUM(datasum) as datasum
FROM summary
WHERE eveDate BETWEEN ? AND ?

Answer 3

SELECT c.msisdn,SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
FROM cdr c 
WHERE c.eveDate>='2013-10-29'
GROUP BY c.msisdn 
ORDER BY datasum DESC
LIMIT 0, 100;

Answer 4

SELECT c.msisdn,SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
FROM 
(select * from cdr where eveDate>='2013-10-29' limit 100) as c 

GROUP BY c.msisdn 
ORDER BY datasum DESC;

与拉里的回答略有不同
不完全确定我是否正确理解了这个问题
这将首先获取前 100 条记录并对其进行计算。 所以最终结果可能少于 100 行，基于 group by 子句

编辑：
根据您的说明，您需要在 c.msisdn 上添加一个索引并在末尾添加一个限制子句
删除 order by 子句并放置一个外部查询只是为了让记录按顺序排序

SELECT a.* FROM (
SELECT c.msisdn,SUM(c.dataVolumeDownLink+c.dataVolumeUpLink) AS datasum 
FROM cdr c 
WHERE c.eveDate>='2013-10-29'
GROUP BY c.msisdn limit 100) a 
ORDER BY a.datasum DESC;

在 c.msisdn 上添加索引