SQL：计算每日重复用户百分比

Question

我有一个events 表，其中有一个user_id 和created_at 列。

我想计算的是在events 表中具有每日重复条目的用户百分比。

所以，如果 d1 日有 user_ids [a,b,c]，d2 日有 user_ids [b,d,e]，那么 b 是三个中唯一重复的 user_id（来自 @ 987654333@)，d1 和 d2 之间有 33% 的重叠。

我希望能够将其延长任意天数。

有问题的架构：

CREATE TABLE events (
  events_id serial PRIMARY KEY
, user_id VARCHAR(255) NOT NULL
, created_at datetime NOT NULL
);

这是一个大表，每天有 ~25MM 行，每天有 ~4.5MM 不同 user_ids。

示例数据集：

+---------+----------+ |用户 ID | created_at | +---------+----------+ |鲍勃 | 2014-12-02 11:11:11 | |莎莉 | 2014-12-02 12:12:11 | |泽 | 2014-12-02 12:22:11 | | | ... | |克里斯 | 2014-12-03 11:13:11 | |标记 | 2014-12-03 11:11:13 | |泽 | 2014-12-03 11:11:33 | | | ... | |悉尼 | 2014-12-04 11:14:11 | |泽 | 2014-12-04 11:44:11 | |克里斯 | 2014-12-04 11:44:11 | | | ... | |悉尼 | 2014-12-05 11:15:11 | |泽 | 2014-12-05 11:55:11 | |克里斯 | 2014-12-05 11:55:15 | |沙质 | 2014-12-05 11:55:51 | |悉尼 | 2014-12-05 11:55:55 | +---------+----------+

预期输出：

+------------+---------------+ |天 |返回用户百分比 | +------------+---------------+ | 2014-12-02 |空 | | 2014-12-03 | 33 | | 2014-12-04 | 66 | | 2014-12-05 | 75 | +------------+---------------+

此外，第 2 部分可能更简单：我想知道每天有多少新用户，其中“新”表示以前从未见过 user_id。

Answer 1

假设created_at 是一个没有时间成分的日期：

select e.created_at,
       avg(case when eprev.user_id is not null then 1.0 else 0.0 end) as overlap
from events e left join
     events eprev
     on e.created_at = eprev.created_at + interval '1' day and e.user_id = eprev.user_id
group by e.created_at

Answer 2

更新问题的答案：

“每天计算前一天有条目的不同用户的百分比。”

WITH e AS (SELECT created_at::date, user_id AS day FROM events GROUP BY 1, 2)
SELECT e.day
     , round(100.0 * count(e1.user_id) / count(*), 2) AS pct_repeat_user
FROM   e
LEFT   JOIN e e1 ON e1.user_id = e.user_id
                AND e1.day = e.day - 1
GROUP  BY 1
ORDER  BY 1;

返回您想要的结果 - 但第一天是 0 而不是 NULL，这对我来说似乎更正确。

解释

• 您的“日期”实际上是timestamp（不是“日期时间”）。为了获得每天的唯一用户，我投给了date 并在 CTE 中对用户进行了分组u。这至关重要，否则您会因为在一天交叉加入重复用户和前一天重复用户而得到荒谬的结果。

• 在此基础上，LEFT JOIN 到前一天。计算“昨天”可以找到的用户数，然后除以“今天”的用户数。在除法之前乘以100.0 将数字强制转换为numeric，并使用round() 获得所需的小数位数。

• 由于day 是数据类型date，现在您只需从中减去integer 1 即可得到“昨天”。

• 请注意，“天”也由时区定义 - 如果您应该拥有来自多个时区的数据。只要您只存储timestamp 就不会起作用，但您的数据中可能存在固有错误。详情：

  • Ignoring timezones altogether in Rails and PostgreSQL

SQL Fiddle.

数据库设计

对于每个用户的数百万行和多个条目，我强烈建议创建一个单独的 users 表并引用它以减少磁盘空间并提高性能：

CREATE TABLE users (
  user_id serial PRIMARY KEY
, username text NOT NULL
);

CREATE TABLE events (
  events_id serial PRIMARY KEY
, user_id int NOT NULL REFERENCES users
, created_at timestamp NOT NULL
);

这也有助于加快数字或其他查询。