MySQL查询优化

Question

您能帮我优化这个查询吗？我花了很多时间，但仍然无法将其改写为足够快（比如在几秒钟内运行，而不是现在的几分钟）。

查询：

SELECT m.my_id, m.my_value, m.my_timestamp
  FROM (
    SELECT my_id, MAX(my_timestamp) AS most_recent_timestamp
      FROM my_table
      WHERE my_timestamp < '2011-03-01 08:00:00'
      GROUP BY my_id
  ) as tmp
LEFT OUTER JOIN my_table m
ON tmp.my_id = m.my_id AND tmp.most_recent_timestamp = m.my_timestamp
ORDER BY m.my_timestamp;

my_table 定义如下：

CREATE TABLE my_table (
   my_id INTEGER NOT NULL,
   my_value VARCHAR(4000),
   my_timestamp TIMESTAMP default CURRENT_TIMESTAMP NOT NULL,
   INDEX MY_ID_IDX (my_id),
   INDEX MY_TIMESTAMP_IDX (my_timestamp),
   INDEX MY_ID_MY_TIMESTAMP_IDX (my_id, my_timestamp)
);

此查询的目标是在某个时间戳之前为每个 my_id 选择最近的 my_value。 my_table 包含约 1 亿个条目，执行它需要约 8 分钟。

解释：

+----+-------------+-------------+--------+-------- ----------------------------------------------------+--------- ----------------+----------+------------------------ ----+--------+-------------------------- --+ |编号 |选择类型 |表|类型 |可能的键 |关键 | key_len |参考 |行 |额外 | +----+-------------+-------------+--------+-------- ----------------------------------------------------+--------- ----------------+----------+------------------------ ----+--------+-------------------------- --+ | 1 |初级 | |全部 |空 |空 |空 |空 | 90721 |使用临时的；使用文件排序 | | 1 |初级 |米 |参考 | MY_ID_IDX,MY_TIMESTAMP_IDX,MY_ID_TIMESTAMP_IDX | MY_TIMESTAMP_IDX | 4 | tmp.most_recent_timestamp | 1 |使用位置 | | 2 |派生 |我的表 |范围 | MY_TIMESTAMP_IDX | MY_ID_MY_TIMESTAMP_IDX | 8 |空 | 61337 |使用哪里；使用索引进行分组 | +----+-------------+-------------+--------+-------- ----------------------------------------------------+--------- --------------+---------+-------------- --+--------+----------------------------------------------------+

Answer 1

如果我理解正确，您应该能够完全删除嵌套选择，并将 where 子句移至主查询，按 my_timestamp 降序排列并限制 1。

SELECT my_id, my_value, max(my_timestamp)
FROM my_table
WHERE my_timestamp < '2011-03-01 08:00:00'
GROUP BY my_id

*edit - 添加最大值和分组依据

Answer 2

我注意到在解释计划中优化器使用 MY_ID_MY_TIMESTAMP_IDX 索引进行子查询，而不是外部查询。

您可以使用索引提示来加快速度。我还更新了 ON 子句以使用其别名来引用 tmp.most_recent_timestamp。

SELECT m.my_id, m.my_value, m.my_timestamp
  FROM (
    SELECT my_id, MAX(my_timestamp) AS most_recent_timestamp
      FROM my_table
      WHERE my_timestamp < '2011-03-01 08:00:00'
      GROUP BY my_id
  ) as tmp
LEFT OUTER JOIN my_table m use index (MY_ID_MY_TIMESTAMP_IDX)
ON tmp.my_id = m.my_id AND tmp.most_recent_timestamp = m.my_timestamp
ORDER BY m.my_timestamp;

Answer 3

获取最新记录的技巧是使用 order by 和 'limit 1' 而不是 max aggregation 和 "self" join

类似这样的东西（未测试）：

SELECT m.my_id, m.my_value, m.my_timestamp
FROM my_table m
WHERE my_timestamp < '2011-03-01 08:00:00'
ORDER BY m.my_timestamp DESC
LIMIT 1
;

上面的

update 不起作用，因为需要分组...
具有 WHERE-IN-SubSelect 而不是您使用的 JOIN 的其他解决方案。
可能会更快。请用您的数据进行测试。

SELECT m.my_id, m.my_value, m.my_timestamp
FROM my_table m
WHERE ( m.my_id, m.my_timestamp ) IN (
  SELECT i.my_id, MAX(i.my_timestamp)
  FROM my_table i
  WHERE i.my_timestamp < '2011-03-01 08:00:00'
  GROUP BY i.my_id
  )
ORDER BY m.my_timestamp;