pandas - 如何获取 groupby 对象的最后 n 组并将它们组合为数据框

Question

如何获取df.groupby() 之后的最后 'n' 个组并将它们组合为一个数据框。

data = pd.read_sql_query(sql=sqlstr, con=sql_conn, index_col='SampleTime')
grouped = data.groupby(data.index.date,sort=False)

在完成grouped.ngroups 之后，我得到的组总数为 277。我想合并最后 12 个组并生成一个数据框。

Answer 1

在列表理解中使用pd.concat 和groupby.get_group

pd.concat([grouped.get_group(x) for x in list(grouped.groups.keys())[-12:]])

Answer 2

假设你知道grouped的顺序

grouped = zip(*df.groupby(data.index.date,sort=False))
pd.concat(list(grouped)[1][-12:])

Answer 3

您可以将列表解析传递给pd.concat()：

import pandas as pd

df = pd.DataFrame([
['A',1,2],
['A',7,6],
['B',1,3],
['B',9,9],
['C',1,8],
['A',4,3],
['C',7,6],
['D',4,2]],
columns=['Var','Val1','Val2'])

last_n = 2
grouped = df.groupby('Var')

pd.concat([grouped.get_group(group) for i, group in enumerate(grouped.groups) if i>=len(grouped)-last_n])

产量：

  Var  Val1  Val2
4   C     1     8
6   C     7     6
7   D     4     2

Answer 4

Pandas GroupBy 对象是可迭代的。要提取可迭代对象的最后 n 个元素，通常无需从可迭代对象创建列表并切片最后 n 个元素。这会占用大量内存。

相反，您可以使用itertools.islice（由@mtraceur 建议）或collections.deque。两者都在 O(n) 时间内工作。

itertools.islice

与生成器不同，Pandas GroupBy 对象是可重复使用的可迭代对象。因此，您可以通过len(g) 计算GroupBy 对象g 的组数，然后通过islice 切片g。或者，也许更习惯用法，您可以使用GroupBy.ngroups。然后使用pd.concat 连接一个可迭代的数据帧：

from operator import itemgetter

g = data.groupby(data.index.date, sort=False)
res = pd.concat(islice(map(itemgetter(1), g), max(0, g.ngroups-12), None))

collections.deque

或者，您可以使用collections.deque 并指定maxlen，然后像以前一样连接。

from collections import deque

grouped = data.groupby(data.index.date, sort=False)
res = pd.concat(deque(map(itemgetter(1), grouped), maxlen=12))

如collections 文档中所述：

一旦有界长度deque 已满，当添加新项目时， 从另一端丢弃相应数量的项目.... 它们对于跟踪交易和其他数据池也很有用 仅对最近的活动感兴趣。