将功能应用于 Pandas Groupby

Question

我目前正在使用 Python 中的面板数据，并且正在尝试计算给定组 (ID) 内每个时间序列观察值的滚动平均值。

鉴于我的数据集的大小（具有多个时间段的数千组），.groupby 和 .apply() 函数的计算时间太长（已经运行了一个多小时，但仍然没有 - 整个数据集仅包含大约 300k 观察）。

我最终想要遍历多个列，执行以下操作：

1. 计算给定列中每个时间步长的滚动平均值，每个组 ID
2. 创建一个新列，其中包含原始值与移动平均值之间的差 [x_t - (x_t-1 + x_t)/2]
3. 将列存储在新的 DataFrame 中，这将与原始数据集相同，只是它具有来自 #2 的残差而不是原始值。

4. 重复并将新的残差附加到 df_resid（如下所示）

   df_resid
   date        id   rev_resid   exp_resid
   2005-09-01   1         NaN         NaN
   2005-12-01   1      -10000       -5500
   2006-03-01   1     -352584   -262058.5
   2006-06-01   1      240000    190049.5 
   2006-09-01   1    82648.75    37724.25
   2005-09-01   2         NaN         NaN
   2005-12-01   2      4206.5       24353
   2006-03-01   2     -302574     -331951
   2006-06-01   2      103179    117405.5
   2006-09-01   2      -52650    -72296.5
   

这是原始数据的小样本。

df
date        id        rev        exp
2005-09-01   1   745168.0   545168.0    
2005-12-01   1   725168.0   534168.0    
2006-03-01   1    20000.0    10051.0
2006-06-01   1   500000.0   390150.0
2006-09-01   1   665297.5   465598.5
2005-09-01   2   956884.0   736987.0
2005-12-01   2   965297.0   785693.0
2006-03-01   2   360149.0   121791.0
2006-06-01   2   566507.0   356602.0
2006-09-01   2   461207.0   212009.0

还有（非常慢的）代码：

df['rev_resid'] = df.groupby('id')['rev'].apply(lambda x:x.rolling(center=False,window=2).mean()) 

我希望有一种计算效率更高的方法来执行此操作（主要针对 #1），并且可以扩展到多列。

任何帮助将不胜感激。

Answer 1

为了加快计算速度，如果数据框已经在'id' 上排序，那么您不必在groupby 中执行rolling（如果它没有排序......这样做）。然后，由于您的窗口只有 2 的长度，所以我们通过检查 id == id.shift 的位置来屏蔽结果，因为它已排序。

d1 = df[['rev', 'exp']]
df.join(
    d1.rolling(2).mean().rsub(d1).add_suffix('_resid')[df.id.eq(df.id.shift())]
)

         date  id       rev       exp  rev_resid  exp_resid
0  2005-09-01   1  745168.0  545168.0        NaN        NaN
1  2005-12-01   1  725168.0  534168.0  -10000.00   -5500.00
2  2006-03-01   1   20000.0   10051.0 -352584.00 -262058.50
3  2006-06-01   1  500000.0  390150.0  240000.00  190049.50
4  2006-09-01   1  665297.5  465598.5   82648.75   37724.25
5  2005-09-01   2  956884.0  736987.0        NaN        NaN
6  2005-12-01   2  965297.0  785693.0    4206.50   24353.00
7  2006-03-01   2  360149.0  121791.0 -302574.00 -331951.00
8  2006-06-01   2  566507.0  356602.0  103179.00  117405.50
9  2006-09-01   2  461207.0  212009.0  -52650.00  -72296.50