Databricks SQL - 间隔中的最大同时事件计数

Question

我正在使用数据块，我有一个包含以下列的 1.5 亿行数据集“df1”：

• event_id
• event_group_id
• 开始时间（时间戳）
• 结束时间（时间戳）

You can see an example of "df1" here

我想创建另一个数据集“df2”，对所有同时发生的事件进行计数，并且对于每 5 分钟的时间窗口，获取最大值。另外，每个 group_event_id 都需要它。 “df2”数据集应该是这样的：

• time_window
• event_group_id
• max_event_count

You can see an example of "df2" here

我想在最小开始时间之前的时间窗口开始 time_window 列，并在最大结束时间之后的时间窗口结束它。 你能帮帮我吗？

Answer 1

您可能需要查询和加入很多！您可以通过开始和结束时间（派生表）的联合获得一个不同的组列表、关键时间 ctime，然后将其加入到每个组的表聚合和 ctime 多少组 = 和 start >= ctime 和 end