替换pandas groupby并申请提升性能

Question

我正在使用 pandas groupby 并申请从包含 1.5 亿行和以下列的 DataFrame 开始：

Id  Created     Item    Stock   Price
1   2019-01-01  Item 1  200     10
1   2019-01-01  Item 2  100     15
2   2019-01-01  Item 1  200     10

到一个包含 220 万条记录的列表，如下所示：

[{
  "Id": 1,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10},
    {"Item":"Item 2", "Stock": 100, "Price": 5}
    ]
},
{
  "Id": 2,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10}
    ]
}]

主要使用这行代码：

df.groupby(['Id', 'Created']).apply(lambda x: x[['Item', 'Stock', 'Price']].to_dict(orient='records'))

这需要相当长的时间，据我了解，这样的操作对于 pandas 来说是很繁重的。有没有一种非 Pandas 的方式来完成同样的任务但性能更高？

编辑：该操作需要 55 分钟，我在 AWS 中使用 ScriptProcessor，它可以让我指定我想要的电量。

编辑 2： 因此，使用 artonas 解决方案我越来越接近： 这是我现在设法制作的：

defaultdict(<function __main__.<lambda>()>,
            {'1': defaultdict(list,
                         {'Id': '1',
                          'Created':'2019-01-01',
                          'Items': [{'Item': Item2, 'Stock': 100, 'Price': 15},
                                    {'Item': Item1, 'Stock': 200, 'Price': 10}]
                         })
            },
           {'2': defaultdict(list,
                         {'Id': '2',
                          'Created':'2019-01-01',
                          'Items': [{'Item': Item1, 'Stock': 200, 'Price': 10}]
                         })
            },

但是如何从上面到这个呢？

[{
  "Id": 1,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10},
    {"Item":"Item 2", "Stock": 100, "Price": 5}
    ]
},
{
  "Id": 2,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10}
    ]
}]

基本上我只对所有记录的“defaultdict(list,”之后的部分感兴趣。我需要将它放在一个不依赖于作为键的 Id 的列表中。

编辑 3：上次更新包含我的生产数据集的结果。 通过 artona 提供的公认答案，我设法从 55 分钟缩短到 7(!) 分钟。并且没有对我的代码进行任何重大更改。 Phung Duy Phong 提供的解决方案让我从 55 分钟到 17 分钟，也不错。

Answer 1

使用 collections.defaultdict 和 itertuples。它仅在行上迭代一次。

In [105]: %timeit df.groupby(['Id', 'Created']).apply(lambda x: x[['Item', 'Stock', 'Price']].to_dict(orient='records'))
10.1 s ± 44.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [107]:from collections import defaultdict
     ...:def create_dict():
     ...:     dict_ids = defaultdict(lambda : defaultdict(list))
     ...:     for row in df.itertuples():
     ...:          dict_ids[row.Id][row.Created].append({"Item": row.Item, "Stock": row.Stock, "Price": row.Price})
     ...:     list_of_dicts = [{"Id":key_id, "Created":key_created, "Items": values} for key_id, value_id in dict_ids.items() for key_created, values in value_id.items()]
     ...:     return list_of_dicts

In [108]: %timeit create_dict()
4.58 s ± 417 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Answer 2

如果数据帧是干净排序的，这意味着同一对（Id、Created）的所有行都是连续的，您可以简单地迭代它们。但是由于 pandas 必须为每一行构建一个新的 Series，所以迭代数据帧的成本很高，我会直接迭代底层的 numpy 数组。

代码可以是：

records = []
Id = None

for i in range(len(df)):
    if df['Id'].values[i] != Id or df['Created'].values[i] != created:
        items = []
        Id = df['Id'].values[i]
        created = df['Created'].values[i]
        records.append({'Id': Id, 'Created': created,
                'Items': items})

    items.append({x: df[x].values[i]
              for x in ['Item', 'Stock', 'Price']})

如果数据最初没有排序，您可以尝试使用 pandas 对数据框进行排序，然后使用上面的代码

Answer 3

尝试以下操作：

df['Items'] = df.loc[:, ['X', 'Y', 'Z']].to_dict(orient='records')
df.groupby(['ID', 'CREATED'])['Items'].apply(list).reset_index().to_dict(orient='records')