MySQL快速检索每组中的最后一条记录

Question

我有一张记录设备 GPS 数据 logs(id - PK AI, device_id - FK, lat - DECIMAL, long - DECIMAL, time - DATETIME) 的表格。 Id 是主键，有一个index on (id, device_id)，我想获取每个设备的最新记录。

我目前的查询是：

SELECT * FROM devices
WHERE devices.id IN (
    SELECT MAX(id) FROM devices GROUP BY device_id
)

在包含 150 万条记录和 5 个唯一设备的表上，查询需要 8 秒。是否可以对其进行优化？这些设备每秒都在发送数据，我预计总共有 2000 台设备。

即使有 5 个设备也太慢了。

我的另一个查询是在一段时间内选择设备的路由。一天的时间也需要 10 秒。

MySQL 是该任务的正确选择吗？我应该选择另一个数据库吗？有没有办法让查询更快？

SQL fiddle

Answer 1

我会推荐以下内容。首先，将代码改写为：

SELECT d.* 
FROM devices d
WHERE d.id = (SELECT MAX(d2.id) FROM devices d2 WHERE d2.device_id = d.device_id);

但首先要在devices(device_id, id) 上创建一个索引。

编辑：

我想知道一些外部优化是否会有所帮助，例如使用datetime：

SELECT d.* 
FROM devices d
WHERE d.datetime >= NOW() - INTERVAL 1 HOUR AND
      d.id = (SELECT MAX(d2.id)
              FROM devices d2
              WHERE d2.device_id = d.device_id AND
                    d2.datetime >= NOW() - INTERVAL 1 HOUR
             );

为此，你还需要devices(datetime, device_id) 上的索引。

Answer 2

尝试这两个查询中的每一个。通常，您的“最大行”查询行中至少有一个对我很有效。

查询 1：

SELECT
d.*
FROM devices d
LEFT OUTER JOIN devices larger_d
ON larger_d.device_id = d.device_id
AND larger_d.id > d.id
WHERE larger_d.device_id IS NULL

查询 2：

SELECT
d.*
FROM devices d
INNER JOIN (
SELECT
MAX(id) AS id,
device_id
FROM devices d
GROUP BY device_id
) largest_d
ON largest_d.device_id = d.device_id
AND largest_d.id = d.id

在这两种情况下，在运行这些查询之前，您都需要在 (device_id,id) 上建立索引。

针对您的 cmets 对其他人的回答，(id,device_id) 索引与我们建议的索引不同。您不需要删除它，但是它会减慢插入速度（就像所有索引一样）。但是，对于此查询，它没有用处，因此如果您没有特定理由保留它，您可以将其删除。