使用count distinct在postgres中进行慢速查询

Question

我的目标是创建一个查询，该查询将返回在 365 天窗口内购买的唯一客户的计数。我在 postgres 中创建了下面的查询，结果查询非常慢。我的表是 812,024 行的订单日期和客户 ID。当我删除 distinct 语句时，我可以让查询在大约 60 秒内返回结果，但我还没有完成。我在 (order_date, id) 创建了一个索引。我是 SQL 的新手，这真的是我第一次用它做任何事情，在整天试图找到解决这个问题的方法之后，我找不到任何可以开始工作的东西，即使我已经看到了很多关于 distinct 的缓慢性能。

SELECT
    (d1.Ordered) AS Ordered,
    COUNT(distinct d2.ID) Users
FROM
(
    SELECT order_date AS Ordered
    FROM orders
    GROUP BY order_date
) d1 
INNER JOIN
(
    SELECT order_date AS Ordered, id
    FROM orders
) d2
ON d2.Ordered BETWEEN d1.Ordered - 364 AND d1.Ordered
GROUP BY d1.Ordered
ORDER BY d1.Ordered

"Sort  (cost=3541596.30..3541596.80 rows=200 width=29)"
"  Sort Key: orders_1.order_date"
"  ->  HashAggregate  (cost=3541586.66..3541588.66 rows=200 width=29)"
"        ->  Nested Loop  (cost=16121.73..3040838.52 rows=100149627 width=29)"
"              ->  HashAggregate  (cost=16121.30..16132.40 rows=1110 width=4)"
"                    ->  Seq Scan on orders orders_1  (cost=0.00..14091.24 rows=812024 width=4)"
"              ->  Index Only Scan using x on orders  (cost=0.43..1822.70 rows=90225 width=29)"
"                    Index Cond: ((order_date >= (orders_1.order_date - 364)) AND (order_date <= orders_1.order_date))"

Answer 1

不需要自加入，使用generate_series

select
    g.order_date as "Ordered",
    count(distinct o.id) as "Users"
from
    generate_series(
        (select min(order_date) from orders),
        (select max(order_date) from orders),
        '1 day'
    ) g (order_date)
    left join
    orders o on o.order_date between g.order_date - 364 and g.order_date
group by 1
order by 1

Answer 2

您还没有显示您的架构，所以这里有些猜测。根据需要更改列名等。

SELECT 
  count(DISTINCT users.user_id)
FROM users
INNER JOIN order_date ON (users.user_id = orders.user_id)
WHERE orders.order_date > current_date - INTERVAL '1' YEAR;

或

SELECT 
  count(users.user_id)
FROM users
INNER JOIN order_date ON (users.user_id = orders.user_id)
WHERE orders.order_date > current_date - INTERVAL '1' YEAR
GROUP BY users.user_id;

Answer 3

假设实际的date 类型。

SELECT d.day, count(distinct o.id) AS users_past_year
FROM  (
   SELECT generate_series(min(order_date), max(order_date), '1 day')::date AS day
   FROM   orders         -- single query
   ) d
LEFT JOIN (              -- fold duplicates on same day right away
   SELECT id, order_date
   FROM   orders
   GROUP  BY 1,2
   ) o ON o.order_date >  d.day - interval '1 year' -- exclude
      AND o.order_date <= d.day                     -- include
GROUP  BY 1
ORDER  BY 1;

只有在常见的情况下，首先折叠同一用户在同一天的多次购买才有意义。否则，省略该步骤并简单地左连接到表 orders 会更快。

orders.id 是用户的 ID，这很奇怪。应该命名为user_id。

如果您对 SELECT 列表中的 generate_series() 不满意（效果很好），您可以在 Postgres 9.3+ 中将其替换为 LATERAL JOIN。

FROM  (SELECT min(order_date) AS a
            , max(order_date) AS z FROM orders) x
    , generate_series(x.a, x.z, '1 day') AS d(day)
LEFT JOIN ...

请注意，在这种情况下，day 是 timestamp 类型。工作相同。您可能想要投射。

一般性能提示

我了解这是针对单个用户的只读表。这简化了事情。
您似乎已经有了索引：

CREATE INDEX orders_mult_idx ON orders (order_date, id);

这很好。

一些尝试：

基础知识

当然，通常的性能建议适用：
https://wiki.postgresql.org/wiki/Slow_Query_Questions
https://wiki.postgresql.org/wiki/Performance_Optimization

流线型表

使用此索引对您的表进行一次聚类：

CLUSTER orders USING orders_mult_idx;

这应该会有所帮助。它还有效地在表上运行VACUUM FULL，这会删除所有死行并在适用时压缩表。

更好的统计数据

ALTER TABLE orders ALTER COLUMN number SET STATISTICS 1000;
ANALYZE orders;

此处解释：

• Configuration parameter work_mem in PostgreSQL on Linux

分配更多内存

确保您有充足的资源分配。特别是shared_buffers and work_mem。您可以为您的会话临时执行此操作。

用planner methods做实验

尝试禁用嵌套循环 (enable_nestloop)（仅在您的会话中）。也许哈希连接更快。 （不过，我会感到惊讶。）

SET enable_nestedloop = off;
-- test ...

RESET enable_nestedloop;

临时表

由于这似乎本质上是一个“临时表”，您可以尝试使其成为仅保存在 RAM 中的实际临时表。您需要足够的 RAM 来分配足够的 temp_buffers。详细说明：

• How to delete duplicate entries?

请务必手动运行ANALYZE。临时表不被 autovacuum 覆盖。