按“字段”和限制进行慢速排序答案

【问题标题】：slow order by "field" and limit按“字段”和限制进行慢速排序
【发布时间】：2018-09-25 16:32:29
【问题描述】：

我有一个简单的查询，必须从大约 14m 条记录的表中获取 1 条记录：

EXPLAIN ANALYZE SELECT "projects_toolresult"."id", 
"projects_toolresult"."tool_id", 
"projects_toolresult"."status",
"projects_toolresult"."updated_at",
"projects_toolresult"."created_at" FROM 
"projects_toolresult" WHERE 
("projects_toolresult"."status" = 1 AND 
"projects_toolresult"."tool_id" = 21)
 ORDER BY "projects_toolresult"."updated_at"
 DESC LIMIT 1;

奇怪的是，当我通过updated_at 字段订购查询时，我的查询执行了 60 秒。

Limit  (cost=0.43..510.94 rows=1 width=151) (actual
time=56754.932..56754.932 rows=0 loops=1)
->  Index Scan using projects_to_updated_266459_idx on projects_toolresult  (cost=0.43..1800549.09 rows=3527 width=151) (actual time=56754.930..56754.930 rows=0 loops=1)
         Filter: ((status = 1) AND (tool_id = 21))
         Rows Removed by Filter: 13709343  Planning time: 0.236 ms  Execution time: 56754.968 ms (6 rows)

不管是ASC还是DESC

但如果我这样做ORDER BY RAND() 或没有订单：

Limit  (cost=23496.10..23496.10 rows=1 width=151) (actual time=447.532..447.532 rows=0 loops=1)
   ->  Sort  (cost=23496.10..23505.20 rows=3642 width=151) (actual time=447.530..447.530 rows=0 loops=1)
         Sort Key: (random())
         Sort Method: quicksort  Memory: 25kB
         ->  Index Scan using projects_toolresult_tool_id_34a3bb16 on projects_toolresult  (cost=0.56..23477.89 rows=3642 width=151) (actual time=447.513..447.513 rows=0 loops=1)
               Index Cond: (tool_id = 21)
               Filter: (status = 1)
               Rows Removed by Filter: 6097
 Planning time: 0.224 ms
 Execution time: 447.571 ms
(10 rows)

它工作得很快。

我在updated_at 和status 字段上有索引（我也试过没有）。我确实升级了默认的 postgres 设置，使用这个生成器增加了值：https://pgtune.leopard.in.ua/#/

这就是当这个查询起作用时会发生什么。

Postgres 版本 9.5

我的表和索引：

id              | integer                  | not null default nextval('projects_toolresult_id_seq'::regclass)
 status          | smallint                 | not null
 object_id       | integer                  | not null
 created_at      | timestamp with time zone | not null
 content_type_id | integer                  | not null
 tool_id         | integer                  | not null
 updated_at      | timestamp with time zone | not null
 output_data     | text                     | not null
Indexes:
    "projects_toolresult_pkey" PRIMARY KEY, btree (id)
    "projects_toolresult_content_type_id_object_i_71ee2c2e_uniq" UNIQUE CONSTRAINT, btree (content_type_id, object_id, tool_id)
    "projects_to_created_cee389_idx" btree (created_at)
    "projects_to_tool_id_ec7856_idx" btree (tool_id, status)
    "projects_to_updated_266459_idx" btree (updated_at)
    "projects_toolresult_content_type_id_9924d905" btree (content_type_id)
    "projects_toolresult_tool_id_34a3bb16" btree (tool_id)
Check constraints:
    "projects_toolresult_object_id_check" CHECK (object_id >= 0)
    "projects_toolresult_status_check" CHECK (status >= 0)
Foreign-key constraints:
    "projects_toolresult_content_type_id_9924d905_fk_django_co" FOREIGN KEY (content_type_id) REFERENCES django_content_type(id) DEFERRABLE INITIALLY DEFERRED
    "projects_toolresult_tool_id_34a3bb16_fk_projects_tool_id" FOREIGN KEY (tool_id) REFERENCES projects_tool(id) DEFERRABLE INITIALLY DEFERRED

【问题讨论】：

不清楚您的问题是什么，您是否有任何现有的 Python/Django 代码要优化？
这就是 django ORM 生成的。但是我直接在 postgres 控制台中做了这个查询。我想我需要删除 django 标签
看来您需要为updated_at 列添加索引。
您在status 和tool_id 上进行过滤，并在updated_at 上进行排序。添加包含这 3 个字段的索引。
@Nicarus 我更新了我的答案并向你展示了索引

标签： postgresql

【解决方案1】：

您正在过滤 status 和 tool_id 上的数据，并在 updated_at 上进行排序，但您没有针对所有这三个列的单一索引。

添加索引，如下所示：

CREATE INDEX ON projects_toolresult (status, tool_id, updated_at);

【讨论】：