【问题标题】:postgres 9.1 performance parameterspostgres 9.1 性能参数
【发布时间】:2013-10-15 06:49:09
【问题描述】:

为了提高性能,我调整了参数 shared_buffers 和 work_mem。尽管我尝试了上述参数的不同组合,但我的查询花费了相同的时间。每当更改“shared_buffer”时,我都会重新启动服务器 我的环境是

Postgres 9.1 操作系统视窗 7 内存 8GB

我尝试了 1gb、2gb 和 3gb 的 shared_buffers。但是查询执行时间变化很小(以毫秒为单位)

我正在给出查询的解释计划

GroupAggregate  (cost=11100.99..12737.10 rows=50342 width=24) (actual time=181.789..268.733 rows=49829 loops=1)
  ->  Sort  (cost=11100.99..11226.84 rows=50342 width=24) (actual time=181.761..188.323 rows=50000 loops=1)    
        Sort Key: (date(t_proof_of_play.play_timestamp)), (date_trunc(''hour''::text, t_proof_of_play.play_timestamp)), t_device_endpoint.venue_hierarchy_id, t_device_endpoint.device_config_id, t_proof_of_play.asset_id
        Sort Method: quicksort  Memory: 5443kB
        ->  Hash Join  (cost=2629.37..7169.41 rows=50342 width=24) (actual time=15.416..112.175 rows=50000 loops=1)
              Hash Cond: (t_proof_of_play.device_endpoint_id = t_device_endpoint.id)
              ->  Bitmap Heap Scan on t_proof_of_play  (cost=2628.28..6224.41 rows=50342 width=20) (actual time=15.332..29.004 rows=50000 loops=1
                    Recheck Cond: ((is_processed = 0) AND (is_revenue = 1))
                    -> Bitmap Index Scan on process_revenue  (cost=0.00..2615.69 rows=50342 width=0) (actual time=15.081..15.081 rows=50000 loops=1)
                          Index Cond: ((is_processed = 0) AND (is_revenue = 1))
              ->   Hash  (cost=1.04..1.04 rows=4 width=12) (actual time=0.026..0.026 rows=4 loops=1)
                    Buckets: 1024  Batches: 1  Memory Usage: 1kB
                    ->  Seq Scan on t_device_endpoint  (cost=0.00..1.04 rows=4 width=12) (actual time=0.009..0.015 rows=4 loops=1)
Total runtime: 276.027 ms

Tabulated version on explain.depesz

欢迎提出建议。 提前致谢

问候

【问题讨论】:

    标签: postgresql


    【解决方案1】:

    正如@RichardHuxton 所指出的,您以每行大约 5 微秒的速度检索结果。很难对此抱怨太多。但这个比率证明你有一个非常高的缓存命中率。您可能想尝试调整连接上的成本因素以反映这一点(使用SET 命令),然后再次尝试查询以查看您是否获得了更好的计划。

    SET cpu_tuple_cost = 0.03;
    SET random_page_cost = 1;
    SET effective_cache_size = '4GB';
    -- (your query here)
    

    当然,@regilero 对 shared_buffers 的看法是正确的——在 Windows 上它必须保持较小

    即使是相当简单的查询也很少会在每个结果行花费少于 2 微秒的时间,因此对于具有连接、排序和聚合的查询,您没有整体很大的改进空间.

    【讨论】:

    • 将 random_page_cost 设置为较低的值是强制规划器从散列连接切换到基于索引的连接的标准方法。另一种方法是降低 work_mem。
    • 嗯,这是做出改变的一个效果;但通常我的主要原因是为了更好地模拟实际成本,以便计划者认为最便宜的计划确实是。当随机成本很高时,将表顺序读入 RAM 中的哈希表并在哈希表中查找行往往会更快,而如果通过索引进行随机访问确实不比顺序读取更昂贵仅使用索引通常更便宜。
    • 当然,所有估计都只是受过教育的猜测。对优化者撒谎是迫使它朝一个方向发展的好方法。 (random_page_cost=1.x 现在不是谎言)我仍然认为aggregate (x JOIN y) 类型的查询显示这种行为是有根本原因的(过去几个月这里有更多类似的问题)。外部查询中聚合/排序的成本计算可能有问题。
    • @wildplasser:我们有点跑题了,因为我认为每行 5us 不一定表示此查询的计划选择错误;但是您引用的问题是真实的,并且是由规划者尚未识别的值之间的相关性引起的。人们一直在研究它,但尚未接受任何提议的解决方案设计。
    【解决方案2】:

    很难从原始的解释中挑选出重要的数字。幸运的是,一位长期的社区成员为我们构建了一个有用的工具来将其制表 - 我添加了一个指向 depesz.com 的链接。

    首先,我看不出更改 shared_buffers 会对任何特定查询产生什么影响,而且无论如何您都没有提供值。更改机器上内存使用的总体平衡是一个通用值。您可以根据整体工作负载而不是特定查询对其进行调整。

    查询的三个主要部分是连接、排序和聚合。这似乎是合理的。

    我不知道您正在运行什么聚合(您没有提供查询)。大概你在 play_timestamp 上总结了一天/小时(基于排序)。两个级别都需要吗?

    对于您相当详细的排序(5 列,两列基于函数调用),只要 work_mem 足够大以进行排序,就没有什么可做的了。

    所以 - 我们也许可以改进连接。部分索引可能会有所帮助。比如:

    CREATE INDEX idx1 ON t_proof_of_play (device_endpoint_id) WHERE is_processed=0 AND is_revenue=1
    

    当然,没有什么是免费的,每当您更新 t_proof_of_play 时,您都需要支付此索引的维护费用。

    即便如此,如果您将加入时间减半,只会将总时间从 276 毫秒减少到大约 235 毫秒。您在大约 0.25 秒内处理 50,000 行 - 每行 5 微秒。

    【讨论】:

    • 我的结论是,用于聚合的日期和用于加入的 device_endpoint 或多或少是正交的。 hashjoin 破坏了内部查询中的任何结构。如果两个维度都被充分索引,在内部查询中强制索引连接可以帮助外部排序/聚合步骤使用可用的索引(如果有的话)。 (顺便说一句:OQ 中的聚合几乎什么都不做:将计数从 50K 减少到 49K8)
    • 感谢 Richard Huxton 的宝贵见解
    【解决方案3】:

    补充@Richard Huxton 的回答。

    作为 Windows 上的 stated in the documentation,您不能使用大量 shared_buffers:

    此外,在 Windows 上,较大的 shared_buffers 值也没有那么有效。您可能会发现保持设置相对较低并更多地使用操作系统缓存会获得更好的结果。 Windows 系统上 shared_buffers 的有用范围一般为 64MB 到 512MB。

    所以你应该将此参数设置为 512MB,PostgreSQL 将无法在 Windows 上使用更多共享内存来优化他的内存使用。在我看来,Windows 不是 PostgreSQL 服务器的最佳操作系统,无论如何,您也可以尝试将 effective_cache_size 调整为可用内存的 50% 或 75%(所以可能是 2GB 或 4GB)。这是 PostgreSQL 的一个提示,告诉它操作系统肯定会使用可用的 RAM 来存储最近使用的文件。这样,您的查询优化器可能会决定访问磁盘数据并不像通常认为的那样昂贵。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-06-29
      • 1970-01-01
      • 2015-07-31
      • 1970-01-01
      • 2012-11-12
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多