提高 groupby() 性能

Question

原始数据框为：

import pandas as pd
array = {'id': [1, 1, 1, 1, 2, 3],
         'color': ['yellow', 'red', 'yellow', 'red', 'yellow', 'white']}
df = pd.DataFrame(array)
df

id          color
1           yellow
1           red
1           yellow
1           red
2           yellow
3           white

我已使用 get_dummies 将其转换为以下数据框：

df = pd.get_dummies(df, prefix='', prefix_sep='')
df

   id  red  white  yellow
0   1    0      0       1
1   1    1      0       0
2   1    0      0       1
3   1    1      0       0
4   2    0      0       1
5   3    0      1       0

我要 groupby() 列'id'：

df.groupby(['id']).max()

    red  white  yellow
id                    
1     1      0       1
2     0      0       1
3     0      1       0

但是，我的原始数据框是 8,000 行 x 1,500,000 列，这使得这个操作太慢了。

关于如何使其更快的任何想法？

Answer 1

更新

根据您的原始数据框，我将在以后对数据框进行唯一化并对其进行透视（或热编码）。这样，您就可以完全避免任何后续聚合。

df_unique = df.drop_duplicates()
df_unique["val"] = 1
df_unique
    id  color   val
0   1   yellow  1
1   1   red     1
4   2   yellow  1
5   3   white   1

df_unique.set_index("id").pivot(columns="color").fillna(0)
    red     white   yellow
id          
1   1.0     0.0     1.0
2   0.0     0.0     1.0
3   0.0     1.0     0.0

编码替代方案

请尝试重塑您的数据（这也很耗时），但可能比您当前的宽格式更快：

# first approach using melt.groupby.max 
pd.melt(df, id_vars = 'id').groupby(["id", "variable"]).max()

# second approach using melt.sort.groupby.first
pd.melt(df, id_vars = 'id').sort_values(by="variable", ascending=True).groupby(["id", "variable"]).first()

您可以在之后运行它以再次保留所需的形状：

melted_and_aggregated_df.reset_index(level=["variable"]).pivot(columns=["variable"], values="value")

数据大小

除了纯粹的编码效率，尽量减少你的数据。

• 如果某些组只有一行，则应仅对其他组使用 max/first 方法，然后再合并结果。
• 实际上有 150 万种颜色吗？听起来很大。您真的需要所有这些，还是可以事先减少/聚合？