Pandas：将重采样与 groupby 相结合并计算时间差

Question

我正在使用交易数据进行数据分析。我想使用 Pandas 来检查交易者活跃的时间。

特别是，我尝试提取每个交易者每天的第一笔交易日期之间的分钟差，并将其累积到每月

数据如下：

Timestamp (Datetime)  | Buyer | Volume 
--------------------------------------
2012-01-01 09:00:00   | John  | 10
2012-01-01 10:00:00   | Mark  | 10
2012-01-01 16:00:00   | Mark  | 10
2012-01-01 11:00:00   | Kevin | 10
2012-02-01 10:00:00   | Mark  | 10
2012-02-01 09:00:00   | John  | 10
2012-02-01 17:00:00   | Mark  | 10

现在我每天都使用重采样来检索第一笔交易。但是，我还想按买方分组以计算他们交易日期的差异。像这样

Timestamp (Datetime)  | Buyer | Volume 
--------------------------------------
2012-01-01 09:00:00   | John  | 10
2012-01-01 10:00:00   | Mark  | 10
2012-01-01 11:00:00   | Kevin | 10
2012-01-02 10:00:00   | Mark  | 10
2012-01-02 09:00:00   | John  | 10

总体而言，我希望计算每个交易者每天首次交易之间的分钟数差异。

更新

例如在 2012 年 1 月 1 日 John 的情况下：Dist = 60 (Diff John-Mark) + 120 (Diff John-Kevin) = 180

如果有人知道如何做到这一点，我将不胜感激。

谢谢

Answer 1

您的原始帧（重新采样的帧）

In [71]: df_orig
Out[71]: 
   buyer                date  volume
0   John 2012-01-01 09:00:00      10
1   Mark 2012-01-01 10:00:00      10
2  Kevin 2012-01-01 11:00:00      10
3   Mark 2012-01-02 10:00:00      10
4   John 2012-01-02 09:00:00      10

将索引设置为日期列，保留日期列

In [75]: df = df_orig.set_index('date',drop=False)

创建这个聚合函数

def f(frame):
    frame.sort('date',inplace=True)
    frame['start'] = frame.date.iloc[0]
    return frame

按单个日期分组

In [74]: x = df.groupby(pd.TimeGrouper('1d')).apply(f)

在几分钟内创建差异

In [86]: x['diff'] = (x.date-x.start).apply(lambda x: float(x.item().total_seconds())/60)

In [87]: x
Out[87]: 
                                buyer                date  volume               start  diff
           date                                                                            
2012-01-01 2012-01-01 09:00:00   John 2012-01-01 09:00:00      10 2012-01-01 09:00:00     0
           2012-01-01 10:00:00   Mark 2012-01-01 10:00:00      10 2012-01-01 09:00:00    60
           2012-01-01 11:00:00  Kevin 2012-01-01 11:00:00      10 2012-01-01 09:00:00   120
2012-01-02 2012-01-02 09:00:00   John 2012-01-02 09:00:00      10 2012-01-02 09:00:00     0
           2012-01-02 10:00:00   Mark 2012-01-02 10:00:00      10 2012-01-02 09:00:00    60

这里是解释。我们使用 TimeGrouper 按日期进行分组，其中将帧传递给函数 f。然后，此函数使用一天中的第一个日期（此处需要排序）。您从条目上的日期中减去它以获得 timedelta64，然后将其按摩到分钟（由于一些 numpy 问题，现在这有点 hacky，在 0.12 中应该更自然）

感谢您的更新，我原本以为您想要每个买家的差异，而不是来自第一个买家，但这只是一个小调整。

更新：

要跟踪买家姓名（对应于开始日期），只需包括 它在函数 f

def f(frame):
    frame.sort('date',inplace=True)
    frame['start'] = frame.date.iloc[0]
    frame['start_buyer'] = frame.buyer.iloc[0]
    return frame

然后可以在最后进行分组：

In [14]: x.groupby(['start_buyer']).sum()
Out[14]: 
             diff
start_buyer      
John          240