Pandas - 聚合不一致的值类型（字符串与列表）

Question

鉴于以下 DataFrame，我尝试聚合列 'A' 和 'C'。对于'A'，计算字符串的唯一出现次数，对于'C'，求和。

当'A' 中的一些样本实际上是这些字符串的列表时，就会出现问题。

这是一个简化的例子：

df = pd.DataFrame({'ID': [1, 1, 1, 1, 1, 2, 2, 2], 
               'A' : ['a', 'a', 'a', 'b', ['b', 'c', 'd'], 'a', 'a', ['a', 'b', 'c']],
               'C' : [1, 2, 15, 5, 13, 6, 7, 1]})
df
Out[100]: 
   ID          A   C
0   1          a   1
1   1          a   2
2   1          a  15
3   1          b   5
4   1  [b, c, d]  13
5   2          a   6
6   2          a   7
7   2  [a, b, c]   1

aggs = {'A' : lambda x: x.nunique(dropna=True),
        'C' : 'sum'}

# This will result an error: TypeError: unhashable type: 'list'
agg_df = df.groupby('ID').agg(aggs)

我想要以下输出：

print(agg_df)
    A   C
ID       
1   4  36
2   3  14

这是因为对于 'ID' = 1，我们有 'a', 'b', 'c' and 'd'，对于 'ID' = 2，我们有 'a', 'b', 'c'。

Answer 1

一种解决方案是将您的问题分成两部分。首先展平您的数据框以确保 df['A'] 仅包含字符串。然后连接几个GroupBy 操作。

第 1 步：扁平化数据框

您可以根据需要使用itertools.chain 和numpy.repeat 链接和重复值。

from itertools import chain

A = df['A'].apply(lambda x: [x] if not isinstance(x, list) else x)
lens = A.map(len)

res = pd.DataFrame({'ID': np.repeat(df['ID'], lens),
                    'A': list(chain.from_iterable(A)),
                    'C': np.repeat(df['C'], lens)})

print(res)

#    A   C  ID
# 0  a   1   1
# 1  a   2   1
# 2  a  15   1
# 3  b   5   1
# 4  b  13   1
# 4  c  13   1
# 4  d  13   1
# 5  a   6   2
# 6  a   7   2
# 7  a   1   2
# 7  b   1   2
# 7  c   1   2

第 2 步：在原始和扁平化上连接 GroupBy

agg_df = pd.concat([res.groupby('ID')['A'].nunique(),
                    df.groupby('ID')['C'].sum()], axis=1)

print(agg_df)

#     A   C
# ID       
# 1   4  36
# 2   3  14