【问题标题】:Same postgres query producing different query plans in different databases相同的 postgres 查询在不同的数据库中产生不同的查询计划
【发布时间】:2014-03-29 08:08:55
【问题描述】:

posgtres 版本 9.1.9

以下查询在两个不同的数据库中运行时会产生不同的计划。

explain (analyze,buffers) SELECT group_.groupid     AS groupId,
        group_.name        AS groupName,
        group_.type_       AS groupType,
        group_.friendlyurl AS groupFriendlyURL
 FROM   group_
        inner join groups_orgs
                ON ( groups_orgs.groupid = group_.groupid )
        inner join users_orgs
                ON ( users_orgs.organizationid = groups_orgs.organizationid )
 WHERE  ( group_.livegroupid = 0 )
        AND ( users_orgs.userid = '27091470' )
        AND ( group_.companyid = '20002' )
        AND ( group_.classnameid = 10001
               OR group_.classnameid = 10003 )
        AND ( group_.name != 'Control Panel' )
        AND ( group_.type_ != 4 )
;

来自生产数据库的计划。

                                                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Merge Join  (cost=6.36..16.60 rows=1 width=37) (actual time=0.133..95.323 rows=3 loops=1)
   Merge Cond: (group_.groupid = groups_orgs.groupid)
   Buffers: shared hit=30829
   ->  Index Scan using group__pkey on group_  (cost=0.00..87997.62 rows=17244 width=37) (actual time=0.030..85.166 rows=13906 loops=1)
         Filter: (((name)::text <> 'Control Panel'::text) AND (type_ <> 4) AND (livegroupid = 0) AND (companyid = 20002::bigint) AND ((classnameid = 10001) OR (classnameid = 10003)))
         Buffers: shared hit=30824
   ->  Sort  (cost=6.36..6.37 rows=3 width=8) (actual time=0.076..0.079 rows=3 loops=1)
         Sort Key: groups_orgs.groupid
         Sort Method: quicksort  Memory: 25kB
         Buffers: shared hit=5
         ->  Merge Join  (cost=1.05..6.34 rows=3 width=8) (actual time=0.045..0.054 rows=3 loops=1)
               Merge Cond: (users_orgs.organizationid = groups_orgs.organizationid)
               Buffers: shared hit=5
               ->  Index Scan using users_orgs_pkey on users_orgs  (cost=0.00..10.47 rows=2 width=8) (actual time=0.012..0.014 rows=2 loops=1)
                     Index Cond: (userid = 27091470::bigint)
                     Buffers: shared hit=4
               ->  Sort  (cost=1.05..1.06 rows=3 width=16) (actual time=0.028..0.030 rows=3 loops=1)
                     Sort Key: groups_orgs.organizationid
                     Sort Method: quicksort  Memory: 25kB
                     Buffers: shared hit=1
                     ->  Seq Scan on groups_orgs  (cost=0.00..1.03 rows=3 width=16) (actual time=0.003..0.005 rows=3 loops=1)
                           Buffers: shared hit=1

通过从生产中导出/导入数据创建的数据库计划

                                                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Nested Loop  (cost=0.00..18.19 rows=1 width=36) (actual time=0.053..0.104 rows=3 loops=1)
   Buffers: shared hit=18
   ->  Nested Loop  (cost=0.00..9.77 rows=1 width=8) (actual time=0.036..0.065 rows=3 loops=1)
         Join Filter: (groups_orgs.organizationid = users_orgs.organizationid)
         Buffers: shared hit=6
         ->  Seq Scan on groups_orgs  (cost=0.00..1.03 rows=3 width=16) (actual time=0.007..0.010 rows=3 loops=1)
               Buffers: shared hit=1
         ->  Materialize  (cost=0.00..8.66 rows=2 width=8) (actual time=0.008..0.012 rows=3 loops=3)
               Buffers: shared hit=5
               ->  Index Scan using ix_fb646ca6 on users_orgs  (cost=0.00..8.65 rows=2 width=8) (actual time=0.016..0.021 rows=3 loops=1)
                     Index Cond: (userid = 27091470::bigint)
                     Buffers: shared hit=5
   ->  Index Scan using group__pkey on group_  (cost=0.00..8.41 rows=1 width=36) (actual time=0.008..0.010 rows=1 loops=3)
         Index Cond: (groupid = groups_orgs.groupid)
         Filter: (((name)::text <> 'Control Panel'::text) AND (type_ <> 4) AND (livegroupid = 0) AND (companyid = 20002::bigint) AND ((classnameid = 10001) OR (classnameid = 10003)))
         Buffers: shared hit=12

生产查询大约需要 100 毫秒,而在其他数据库中需要 0.1 毫秒 差异似乎是对group_ 表(Index Scan using group__pkey on group_)的慢速索引扫描 谁能解释执行时间的差异? 定期对生产中的桌子进行抽真空和分析。 生产数据库比其他数据库更忙。

谢谢, 萨米尔

【问题讨论】:

  • 调整可能不同。 {work_mem, random_page_cost, shared_buffers, index_cpu_cost, ... } 请查找它们并将它们添加到问题中。也可能是并发差异(缓冲区、磁盘页面或内存的竞争)
  • 两个数据库中的相同配置。这个问题与stackoverflow.com/questions/21546608/… 有关。唯一的困惑是为什么相同的查询有不同的计划并且在其他数据库中执行得更快
  • 可能是(缺乏)集群,或(太多)并发。一切顺利。
  • 令人惊讶的是,解决方案是在 users_orgs 表上重新创建统计信息。统计数据是在两周前自动计算出来的,所以根本原因仍然是个谜。
  • 不,这并不“令人惊讶”。如果您更改数据,则需要更新统计信息。您提到“两周前”的事实似乎表明您关闭了自动真空(或者您没有在导入后更新统计信息)。不要关闭它,你会产生比它可能解决的更多的问题。

标签: postgresql indexing


【解决方案1】:

我遇到了同样的问题,在“备份”数据库中,查询速度非常快,而在生产数据库中运行相同的查询时速度非常慢。原来我只需要更频繁地执行Routine Database Maintenance Tasks 即可解决问题:

PostgreSQL 查询计划器依靠有关表内容的统计信息来生成良好的查询计划。这些统计信息由 ANALYZE 命令收集,该命令可以单独调用,也可以作为 VACUUM 中的可选步骤调用。拥有相当准确的统计数据很重要,否则计划选择不当可能会降低数据库性能。

因此,如果您遇到类似问题,请尝试在“慢”数据库上运行以下命令:

$ vacuumdb --host localhost --port 5432 --username "MyUser" -d "MyDatabase" --analyze --verbose

【讨论】:

  • 非常感谢!我们的 autovacuum 任务显然不足以改善极其缓慢的查询计划。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-08-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-11-28
  • 1970-01-01
相关资源
最近更新 更多