【问题标题】:Pandas aggregate list in resample/groupbyresample/groupby 中的 Pandas 聚合列表
【发布时间】:2017-11-12 12:27:53
【问题描述】:

我有一个数据框,其中每个实例都有一个时间戳、一个 ID 和一个数字列表,如下所示:

timestamp           | id | lists
----------------------------------
2016-01-01 00:00:00 | 1  | [2, 10]
2016-01-01 05:00:00 | 1  | [9, 10, 3, 5]
2016-01-01 10:00:00 | 1  | [1, 10, 5]
2016-01-02 01:00:00 | 1  | [2, 6, 7]
2016-01-02 04:00:00 | 1  | [2, 6]
2016-01-01 02:00:00 | 2  | [0]
2016-01-01 08:00:00 | 2  | [10, 3, 2]
2016-01-01 14:00:00 | 2  | [0, 9, 3]
2016-01-02 03:00:00 | 2  | [0, 9, 2]

对于每个 id 我想按天重新采样(这很容易)并连接所有 列出在同一天发生的事例。重采样 + concat/sum 确实 不起作用,因为重新采样会删除所有非数字列 (see here)

我想写类似这样的东西:

daily_data = data.groupby('id').resample('1D').concatenate() # .concatenate() does not exist

想要的结果:

timestamp  | id | lists
----------------------------------
2016-01-01 | 1  | [2, 10, 9, 10, 3, 5, 1, 10, 5]
2016-01-02 | 1  | [2, 6, 7, 2, 6]
2016-01-01 | 2  | [0, 10, 3, 2]
2016-01-02 | 2  | [0, 9, 3, 0, 9, 2]

您可以在这里复制一个脚本,该脚本会生成我用于描述的输入:

import pandas as pd 
from random import randint

time = pd.to_datetime( ['2016-01-01 00:00:00', '2016-01-01 05:00:00', 
                        '2016-01-01 10:00:00', '2016-01-02 01:00:00', 
                        '2016-01-02 04:00:00', '2016-01-01 02:00:00', 
                        '2016-01-01 08:00:00', '2016-01-01 14:00:00',
                        '2016-01-02 03:00:00' ]
                      )

id_1 = [1] * 5
id_2 = [2] * 4

lists = [0] * 9
for i in range(9):
    l = [randint(0,10)  for _ in range(randint(1,5) ) ]
    l = list(set(l))
    lists[i] = l

data = {'timestamp': time, 'id': id_1 + id_2, 'lists': lists}

example = pd.DataFrame(data=data)

如果有一种方法可以选择性地删除串联列表中的重复项,则可以加分。

【问题讨论】:

    标签: python pandas dataframe group-by pandas-groupby


    【解决方案1】:

    正如@jezrael 所指出的,这只适用于pandas 0.18.1+

    • set_index 和 'timestamp' 为以后做准备 resample
    • groupby'id' 列并选择lists 列
    • 在resample、sum 之后的列表将连接它们
    • reset_index 以正确的顺序获取列

    df.set_index('timestamp').groupby('id').lists.resample('D').sum() \
      .reset_index('id').reset_index()
    

    【讨论】:

    • 这解决了我的问题!我使用的是相同的代码,但没有指定列名“lists”,并且只返回了时间戳和 id。谢谢:-)
    【解决方案2】:

    对于每个列表项的唯一计数,请使用列表理解:

    a = [list(set(l)) for l in df.lists]
    df.loc[:,'lists'] = a
    

    【讨论】:

      猜你喜欢
      • 2018-07-17
      • 1970-01-01
      • 2020-11-05
      • 2021-11-01
      • 2019-10-12
      • 2017-07-02
      • 2017-07-20
      • 2017-06-07
      • 2019-12-22
      相关资源
      最近更新 更多