Pandas 复杂 GroupBy 并应用于机器学习数据集

Question

我有一个用于机器学习数据集的数据集。下面列出了我的数据框。

数据框 = df

      memid     year     code1     code2    ....... n amount of columns
        1       2014      8888      654
        2       2016      13456     4353
        2       2016      12345     3333
        1       2014      123333    1111 
        1       2016      55555     2222 
        1       2016      99999     2222 

我的目标是汇总数据集并将年份作为列名中的度量添加到整个数据框（即 n 列）我下面的表结构是我的目标

以下目标数据框：

 memid    code1_2014     code1_2015     code1_2016      code2_2014       code2_2015     code2_2016
   1      8888, 123333                  55555, 99999     654, 1111                          2222
   2                                    13456, 12345                                     4353, 3333                  

这段代码的目标是为数据集中除memid之外的所有列实现上述列结构。我知道这是一个复杂的 groupby 和 .apply 或 join 方法，但是我无法实现目标。

请帮忙！ 谢谢！

Answer 1

可能不像前一个那么简单，但这是我的尝试。

grouped = pd.DataFrame(df1.groupby(['memid','year']).aggregate(lambda x: list(x))) grouped.columns = ['_'.join(str(i)) for i in list(grouped.index.values)] grouped = grouped.reset_index(level= 1, drop=True) final = grouped.groupby(grouped.index).aggregate(lambda x: [item for sublist in x for item in sublist])

Answer 2

这个怎么样：

grpd_vals = df.pivot_table(
    index='memid',
    columns='year',
    aggfunc=lambda x: ','.join(str(i) for i in x.values)
).unstack().to_frame().reset_index()

给予：

然后构建一个列来保存您的新列名：

grpd_vals['col'] = grpd_vals['level_0'] + '_'+grpd_vals['year'].astype(str)

然后再分组：

grpd_vals.pivot_table(
    index='memid',
    columns='col',
    values=0,
    aggfunc=lambda x: x
)

这给出了：