Pandas 中的 Groupby 变异性能

Question

我经常发现自己尝试使用 R 等效于 groupby 然后 mutate，但正如许多人指出的那样，简单地使用 groupby 和 apply 会遇到严重的性能问题。所以我的问题是，在 pandas 中对数据框进行分组的最佳（最高性能）方法是什么，然后根据该组中的某些条件，根据一些计算添加一个新列？

（我进行了搜索和搜索，但没有找到任何关于如何使用 numpy 在 pandas 中对自定义函数进行矢量化的指南/步骤。所有类似问题的答案都是针对具体情况的，不能很好地概括。）

示例数据：

df
Out[17]: 
             ID   ID2        col1        col2       col3    value
0             1     J       333.5       333.3      333.4      cat    
1             1     S       333.5       333.3      333.8      
2             2     J       333.7       333.3      333.8      cat
3             2     S       333.7       333.3      333.4      dog
4             3     L       333.7       333.8      333.9      
5             3     D       333.8       333.8      333.9      
6             4     S       333.8       333.6      333.7      cat
7             4     J       333.8       333.2      333.8      
8             4     J       333.8       333.7      333.9      
9             4     L       333.8       333.3      333.4      cat

这里有一些例子，我经常遇到：

1) apply 函数根据条件分组，将这些结果与原始数据帧一起返回。

df.groupby(by=['ID']).apply(myfunc)

def myfunc(group):
    group['new_col'] = len(group.query('''ID2=='T' & (col1>=col3 | px<=col2)''').unique())
    return group

2) 与 1) 类似，但仅根据某些条件更新一个现有列，然后将该结果与原始数据帧一起返回。

df.groupby(by=['ID']).apply(update_func)

def update_func(group):
     if 'S' in group['ID2'].values:
          group.loc[(group['value']=='cat'), 'other_column'] = False
     return group

Answer 1

对于第一个示例，我使用 numpy 运算符改进了函数，并且按照 @ScottBoston 的建议，我将函数更改为仅返回值，然后将它们映射回我的原始数据框：

def my_func(group):
    mask = np.logical_and(group.ID2 == 'J', (np.logical_or((group.col1 >= group.col3), (group.col1 <= group.col2))))
    return len(group[mask].col1.unique())

dict = df.groupby(by=['ID'], sort=False).apply(my_func).to_dict() #This is a bit slow

df['new_col'] = df['ID'].map(dict) #This is fast

最慢的部分仍然是必须对每个组进行操作的numpy 条件的应用。如果有一种方法可以并行操作每一个，那将是理想的，因为不需要像现在这样按顺序执行。

Answer 2

我认为您不需要在 groupby 中进行遮罩，看看这是否对您更有效。

d1 = df.assign(mask=np.logical_and(df.ID2 == 'J', (np.logical_or((df.col1 >= df.col3), (df.col1 <= df.col2)))))

dict = d1.groupby('ID').apply(lambda x: x.loc[x['mask'],'col1'].size).to_dict()