【问题标题】：Is there a Pandas function to count events between timestamps?是否有 Pandas 函数来计算时间戳之间的事件？
【发布时间】：2020-12-05 16:55:50
【问题描述】：

我的数据只有 100k 行和以下列：

Time (yyyy-MM-dd hh:mm:ss.ffffff),
ID（字符串），
Group1(int32),
Group2 (int32)。

我想计算在每个事件之前 5 分钟的时间窗口内有多少事件来自同一个 Group1 和 Group2。例如：

ID              Time                      Group1    Group2
61ED2269CCAC    2020-07-27 00:01:05.781   1234      100123
61C2DC4E96FA    2020-07-27 00:01:17.279   1234      100123
FAD0839C1A95    2020-07-27 00:02:38.112   1234      100124
A2750A7B6C24    2020-07-27 00:16:50.592   4321      100123
03F5DF150A3C    2020-07-27 00:17:00.246   4321      100124

有多少事件发生在Timestamp('2020-07-26 23:56:17.279000') 之后（第二个事件前 5 分钟）并且属于组Group1 和Group2？因此，在此示例中，第二个事件的计数器为 1。其余的将具有 0 计数器，因为它们的组是唯一的。

每个事件都应该有一个计数器，指示在它之前有多少来自同一组的事件。

我尝试按组和Time 对数据进行排序，然后运行一个嵌套循环，一个在所有事件上运行，一个从启动到当前事件索引运行。在几 1000 行之后，该过程显着减慢，使此选项不可行。我想知道是否还有其他优雅而有效的方法。

编辑：我能够用一个 for 循环而不是嵌套循环来做到这一点。对于每个循环，我使用时间和组并对数据帧进行切片以包含组中和所需时间范围内的事件，然后对事件数求和：

for i in tqdm(range(len(df))):
   time_stamp = df.loc[i, 'Time']
   group1 = df.loc[i, 'Group1']
   group2 = df.loc[i, 'Group2']
   sub_df = df[df['Time'] + timedelta(minutes=-5) > time_stamp]
   sub_df = sub_df[sub_df['Time'] < time_stamp]
   sub_df = sub_df[sub_df['Group1'] == group1]
   sub_df = sub_df[sub_df['Group2'] == group2]
   df.loc[i, 'prior_events'] = sub_df.size

不过，tqdm 显示每秒 18 次迭代，这对于 100k 行来说并不是很好。

【问题讨论】：

请包含minimal-reproducible-examples

标签： python pandas time-series

【解决方案1】：

为了获得更有启发性的结果，我扩展了您的数据样本：

              ID                    Time  Group1  Group2
0   61ED2269CCAC 2020-07-27 00:01:05.781    1234  100123
1   61C2DC4E96FA 2020-07-27 00:01:17.279    1234  100123
2   FAD0839C1A95 2020-07-27 00:02:38.112    1234  100124
3   FAD0839C1A95 2020-07-27 00:05:38.000    1234  100123
4   FAD0839C1A95 2020-07-27 00:06:39.000    1234  100123
5   A2750A7B6C24 2020-07-27 00:16:50.592    4321  100123
6   03F5DF150A3C 2020-07-27 00:17:00.246    4321  100124
7   03F5DF150A3C 2020-07-27 00:18:00.000    4321  100124
8   03F5DF150A3C 2020-07-27 00:20:00.000    4321  100124
9   03F5DF150A3C 2020-07-27 00:22:00.000    4321  100124
10  03F5DF150A3C 2020-07-27 00:23:00.000    4321  100124

假设 Time 列是 datetime 类型并且它的值是唯一的，您可以按如下方式生成结果（Count 列）：

df.set_index('Time', inplace=True)
df['Count'] = (df.groupby(['Group1', 'Group2'], as_index=False)\
    .Group1.rolling(window='5T', closed='both').count() - 1).astype(int)\
    .reset_index(level=0, drop=True)
df.reset_index(inplace=True)

结果是：

                      Time            ID  Group1  Group2  Count
0  2020-07-27 00:01:05.781  61ED2269CCAC    1234  100123      0
1  2020-07-27 00:01:17.279  61C2DC4E96FA    1234  100123      1
2  2020-07-27 00:02:38.112  FAD0839C1A95    1234  100124      0
3  2020-07-27 00:05:38.000  FAD0839C1A95    1234  100123      2
4  2020-07-27 00:06:39.000  FAD0839C1A95    1234  100123      1
5  2020-07-27 00:16:50.592  A2750A7B6C24    4321  100123      0
6  2020-07-27 00:17:00.246  03F5DF150A3C    4321  100124      0
7  2020-07-27 00:18:00.000  03F5DF150A3C    4321  100124      1
8  2020-07-27 00:20:00.000  03F5DF150A3C    4321  100124      2
9  2020-07-27 00:22:00.000  03F5DF150A3C    4321  100124      3
10 2020-07-27 00:23:00.000  03F5DF150A3C    4321  100124      3

注意最后一行。是有 Count == 3，包括刚才的事件 5分钟前。如果您希望此事件不被计算在内，请删除 closed='both' 参数。

根据 14:49Z 的评论进行编辑

显然您的数据具有重复的时间值，即使在一个组内也是如此具有相同 Group1 / Group2 的行数。

为了解决这个问题，采取另一种方法：

定义一个生成计数的函数：

 def Counts(grp):
     vc = grp.Time.value_counts().sort_index()
     cnt = (vc.rolling(window='5T', closed='both').sum()).astype(int) - vc
     s = pd.Series(cnt, index=grp.Time)
     return pd.Series(s.values, index=grp.index)

应用它：

 df['Counts'] = df.groupby(['Group1', 'Group2'], as_index=False)\
     .apply(Counts).reset_index(level=0, drop=True)

此代码基于您的源 DataFrame 已排序的假设按时间。

我在一个数据样本上测试了上面的代码，其中添加了一个重复的行时间上一行。

结果是：

              ID                    Time  Group1  Group2  Counts
0   61ED2269CCAC 2020-07-27 00:01:05.781    1234  100123       0
1   61C2DC4E96FA 2020-07-27 00:01:17.279    1234  100123       1
2   FAD0839C1A95 2020-07-27 00:02:38.112    1234  100124       0
3   FAD0839C1A95 2020-07-27 00:05:38.000    1234  100123       2
4   FAD0839C1A95 2020-07-27 00:06:39.000    1234  100123       1
5   A2750A7B6C24 2020-07-27 00:16:50.592    4321  100123       0
6   03F5DF150A3C 2020-07-27 00:17:00.246    4321  100124       0
7   03F5DF150A3C 2020-07-27 00:18:00.000    4321  100124       1
8   03F5DF150A3C 2020-07-27 00:20:00.000    4321  100124       2
9   03F5DF150A3C 2020-07-27 00:22:00.000    4321  100124       3
10  03F5DF150A3C 2020-07-27 00:23:00.000    4321  100124       3
11  03F5DF150BBB 2020-07-27 00:23:00.000    4321  100124       3

【讨论】：

我喜欢这个滚动方向。我忘了提及 ID 列的唯一性。在我的示例中，一个 ID 只能出现一次。另外，我得到这个 ValueError: window must be an integer。如果我将窗口更改为 5 而不是“5T”，则会丢失 ID 粒度。如果 ID 不在您所指的列中，我看不出您如何取回 ID
如果索引的类型不是 datetime，则会出现错误消息 window must be an integer。可能您将 Time 列作为 string。将其更改为 datetime，我的代码应该可以正常工作。
我现在得到 ValueError: cannot handle a non-unique multi-index！这是否意味着我有非唯一的时间值？