熊猫数据框拆分为会话

Question

这是我的question 的扩展。

为了更简单让我们假设我有一个如下的熊猫数据框。

df = pd.DataFrame([[1.1, 1.1, 2.5, 2.6, 2.5, 3.4,2.6,2.6,3.4], list('AAABBBBAB'), [1.1, 1.7, 2.5, 2.6, 3.3, 3.8,4.0,4.2,4.3]]).T
df.columns = ['col1', 'col2','col3']

数据框：

  col1 col2 col3
0  1.1    A  1.1
1  1.1    A  1.7
2  2.5    A  2.5
3  2.6    B  2.6
4  2.5    B  3.3
5  3.4    B  3.8
6  2.6    B    4
7  2.6    A  4.2
8  3.4    B  4.3

我想根据一些条件对其进行分组。逻辑是基于 col1 col2 的值和 col3 的累积差异：

1. 转到 col1 并找到相同值的其他匹配项。
2. 在我的例子中，col1 的第一个值是 '1.1'，它们在 row2 的值也是相同的。
3. 然后检查col2值，如果相似，则得到col 3的累积差异。
4. 如果累积差异大于 0.5，则将此标记为新会话。
5. 如果 col1 值相同但 col2 值不同，则将它们标记为新会话

预期输出：

   col1 col2 col3 session
0  1.1    A  1.1  0
1  1.1    A  1.7  1
2  2.5    A  2.5  2
3  2.6    B  2.6  4
4  2.5    B  3.3  3
5  3.4    B  3.8  7
6  2.6    B    4  5
7  2.6    A  4.2  6
8  3.4    B  4.3  7

Answer 1

正如您链接到的优秀答案；）首先创建会话编号：

In [11]: g = df.groupby(['col1', 'col2'])

In [12]: df['session_number'] = g['col3'].apply(lambda s: (s - s.shift(1) > 0.5).fillna(0).cumsum(skipna=False))

然后我想你想设置这些列的索引，这对于许多用例来说可能就足够了（尽管它可能值得做一个sort）：

In [13]: df1 = df.set_index(['col1', 'col2', 'session_number'])

In [14]: df1
Out[14]:
                         col3
col1 col2 session_number
1.1  A    0               1.1
          1               1.7
2.5  A    0               2.5
2.6  B    0               2.6
2.5  B    0               3.3
3.4  B    0               3.8
2.6  B    1                 4
     A    0               4.2
3.4  B    0               4.3

如果你真的想要，你可以拿出会话号：

In [15]: g1 = df.groupby(['col1', 'col2', 'session_number'])  # I think there is a slightly neater way, but I forget..

In [16]: df1['session'] = g1.apply(lambda x: 1).cumsum()  # could -1 here if it matters

In [17]: df1
Out[17]:
                         col3  session
col1 col2 session_number
1.1  A    0               1.1        1
          1               1.7        2
2.5  A    0               2.5        3
2.6  B    0               2.6        6
2.5  B    0               3.3        4
3.4  B    0               3.8        8
2.6  B    1                 4        7
     A    0               4.2        5
3.4  B    0               4.3        8

如果您想在列中（如您的问题）reset_index，您可以删除会话列：

In [18]: df1.reset_index()
Out[18]:
   col1 col2  session_number col3  session
0   1.1    A               0  1.1        1
1   1.1    A               1  1.7        2
2   2.5    A               0  2.5        3
3   2.6    B               0  2.6        6
4   2.5    B               0  3.3        4
5   3.4    B               0  3.8        8
6   2.6    B               1    4        7
7   2.6    A               0  4.2        5
8   3.4    B               0  4.3        8