具有多级列的聚合组答案

【问题标题】：Aggregate group with multi-level columns具有多级列的聚合组
【发布时间】：2015-05-04 04:18:05
【问题描述】：

我有一个分组的 DataFrame，我想将它与一个应该映射到某些列的函数字典聚合。对于单级列，使用groups.agg({'colname': <function>}) 很简单。然而，我正在努力让这个与多层次的列一起工作，我只想从中引用一个层次。

这是一个例子。

让我们做一些示例数据：

import itertools
import pandas as pd

lev1 = ['foo', 'bar', 'baz']
lev2 = list('abc')

n = 6

df = pd.DataFrame({k: np.random.randn(n) for k in itertools.product(lev1,lev2)}, 
                  index=pd.DatetimeIndex(start='2015-01-01', periods=n, freq='11D'))

看起来像：

             bar               baz               foo            
               a     b     c     a     b     c     a     b     c
2015-01-01 -1.11  2.12 -1.00  0.18  0.14  1.24  0.73  0.06  3.66
2015-01-12 -1.43  0.75  0.38  0.04 -0.33 -0.42  1.00 -1.63 -1.35
2015-01-23  0.01 -1.70 -1.39  0.59 -1.10 -1.17 -1.51 -0.54 -1.11
2015-02-03  0.93  0.70 -0.12  1.07 -0.97 -0.45 -0.19  0.11 -0.79
2015-02-14  0.30  0.49  0.60 -0.28 -0.38  1.11  0.15  0.78 -0.58
2015-02-25 -0.26  0.51  0.82  0.05 -1.45  0.14  0.53 -0.33 -1.35

并按月份分组：

groups = df.groupby(pd.TimeGrouper('MS'))

根据列中的顶层定义一些函数：

funcs = {'bar': np.sum, 'baz': np.mean, 'foo': np.min}

但是，执行groups.agg(funcs) 会导致 KeyError，因为它要求每个级别都有一个键，这是有道理的。

这确实有效，例如：

groups.agg({('bar', 'a'): np.mean})

                 bar
                   a
2015-01-01 -0.845554
2015-02-01  0.324897

但我不想在第二级指定每个键。所以我正在寻找类似的东西：

groups.agg({('bar', slice(None)): np.mean})

但这当然行不通，因为 slice 不可散列，因此不能放入字典中。

解决方法是：

def multifunc(group):

    func = funcs[group.name[0]]        
    return func(group)

groups.agg(multifunc)

但这不是很可读，对我来说也不是“Pandonic”。此外，它不允许在同一列上使用多个函数，就像 agg 函数一样。必须有更好/标准的方式来执行这样的任务，这不会很罕见。

【问题讨论】：

我打开了一个问题来讨论我们是否想让这更容易：github.com/pydata/pandas/issues/9585 但是，我不确定最好的界面是什么。我想{'bar': np.sum, 'baz': np.mean, 'foo': np.min} 可以工作吗？随意插话！
谢谢乔里斯！看到这方面的讨论肯定会很有趣。正如 Unutbu 所展示的，总有一些变通方法。但这意味着从 Pandas 界面退后一步，简单的界面是使 Pandas 如此出色的一大原因。

标签： python pandas

【解决方案1】：

我认为这没有捷径可走。幸运的是，显式构建所需的 dict 并不难：

result = groups.agg(
    {(k1, k2): funcs[k1] for k1, k2 in itertools.product(lev1,lev2)})

import itertools
import numpy as np
import pandas as pd

lev1 = ['foo', 'bar', 'baz']
lev2 = list('abc')

n = 6

df = pd.DataFrame(
    {k: np.random.randn(n) for k in itertools.product(lev1,lev2)}, 
    index=pd.DatetimeIndex(start='2015-01-01', periods=n, freq='11D'))
groups = df.groupby(pd.TimeGrouper('MS'))
funcs = {'bar': np.sum, 'baz': np.mean, 'foo': np.min}
result = groups.agg(
    {(k1, k2): funcs[k1] for k1, k2 in itertools.product(lev1,lev2)})
result = result.sortlevel(axis=1)
print(result)

产量

                 bar                           baz                      \
                   a         b         c         a         b         c   
2015-01-01 -2.144890  1.075044  1.038169 -0.460649 -0.309966 -0.211147   
2015-02-01  1.313744  0.247171  1.049129 -0.174827 -0.437982 -0.196427   

                 foo                      
                   a         b         c  
2015-01-01 -1.358973 -1.846916 -0.896234  
2015-02-01 -1.354953 -0.699607  0.288214

【讨论】：