Pandas groupby 和 sum 同时保留其他属性

Question

我看过 Pandas 的 aggregate 函数的示例，但这些并不能解决我的问题。因为聚合函数的示例要么对所有属性求和，要么只对少数属性求和，结果df 仅具有这些求和属性或groupby 中使用的属性。就我而言，我不想为 group by 或 sum 使用某些属性，但仍将它们保留在结果 df 中。

我正在尝试对一些属性进行分组和求和，同时保留其他未求和但面临挑战的属性，如下所述。

在我的交易数据集中，Customer_ID 对于每个客户都是唯一的，entry time 对于每笔交易都是唯一的。任何客户在一段时间内都会有多次交易。大多数交易会重复两次或更多次，具体取决于与交易相关联的标签数量（但通常是 2 到 4 个标签）。我需要将每个事务的多个条目组合到只有 1 行，1 个 customer_ID，一个 gender，age，entry time，location，country 和所有 Tag 属性。

如果我仅按 customer_ID、entry time 分组并对 标签 求和，则生成的数据框具有正确数量的唯一客户：150K。但是我在结果df中丢失了gender、age、location、country、exit time、value 1、value 2的属性。

result = df.groupby(["customer_ID","entry time"])["Tag1", "Tag2","Tag3","Tag4","Tag5","Tag6","Tag7","Tag8"].sum().reset_index()

如果我按所有需要的属性分组并对 标签 求和，我只能获得 90K 的唯一客户，这是不正确的。

result = df.groupby(["customer_ID", "entry time", "gender", "age","location", "country", "exit time", "value 1", "value 2"
 ])["Tag1","Tag2","Tag3","Tag4","Tag5","Tag6","Tag7","Tag8"].sum().reset_index()

那么我如何有效地仅按customer_ID 和entry time 进行分组，对所有Tag 列求和，并在生成的df 中仍保留其他属性（df 大小约为 700 MB）？

Answer 1

从技术上讲，您正在尝试聚合唯一的 customer_ID 和 进入时间（不是唯一的客户）。为了维护其他属性，必须针对要保留哪些值做出一些综合决策。考虑扩展groupby().aggregate 调用以检索first、last、min 或max 值。

agg_df = (df.groupby(['customer_ID', 'entry time'], as_index=False)
            .aggregate({'gender':'first', 'age':'first', 
                        'location':'first', 'country':'first', 
                        'exit time':'first', 'value 1':'first', 'value 2':'first',
                        'Tag1':'sum', 'Tag2':'sum', 'Tag3':'sum', 'Tag4':'sum', 
                        'Tag5':'sum', 'Tag6':'sum', 'Tag7':'sum', 'Tag8':'sum'})
         )

Answer 2

好的，如果我正确理解了这个问题，那么我认为这可能有效：

tag_cols = ["Tag1", "Tag2", "Tag3", "Tag4", "Tag5", "Tag6", "Tag7", "Tag8"]
join_cols = ["customer_ID", "entry time"]

df1 = df.groupby(join_cols)[tag_cols].sum().reset_index()
df2 = pd.merge(df1, df, on=tag_cols.append(join_cols), how="left")

那么df2应该有你需要的。