根据条件删除连续重复行

Question

我目前有这个数据框：

id  date       outcome
3   03/05/2019  no
3   29/05/2019  no
3   04/09/2019  no
3   30/10/2019  yes
3   03/05/2020  no
5   03/12/2019  no
5   26/12/2019  no
5   27/01/2020  yes
5   03/06/2020  yes
6   04/05/2019  no
6   27/10/2019  no
6   26/11/2019  yes
6   28/11/2019  yes
6   29/11/2019  yes
6   13/04/2020  yes
6   14/04/2020  yes
6   24/04/2020  no
6   30/04/2020  no
6   05/05/2020  no

按id分组，按日期升序排列。

如果后面的行具有相同的结果，我想删除当前行。但是，如果一行的结果是肯定的，那么下一行必须是第一个否定的。这是上述数据框的预期结果：

id  date       outcome
3   04/09/2019  no
3   30/10/2019  yes
3   03/05/2020  no
5   26/12/2019  no
5   03/06/2020  yes
6   27/10/2019  no
6   14/04/2020  yes
6   24/04/2020  no

目前我正在这样做：

m1 = (df['outcome'] != df['outcome'].shift()).cumsum()
updated_df = df.groupby([df['id'],m1]).tail(1)

但是，这只给了我分组是/否计数的最后一个值（是/否）。如何以尽可能熊猫的方式应用条件？

Answer 1

IIUC，您需要两个步骤。首先计算一个掩码以检查结果是否与下一个结果不同（保留最后一个），或者遵循是，每组完成所有操作。这会导致您想要的过滤，除非在“是”之后您将有一个副本。（“是”后保留，“最后一个”丢弃）

其次，再次检查连续结果的差异，但这次保留第一个。

# step 1
m1 = df['outcome']
m2 = m1.groupby(df['id']).shift(-1)
m3 = m1.groupby(df['id']).shift().eq('yes')&m1.eq('no')

df2 = df[~m1.eq(m2)|m3]

# step 2
m4 = df2['outcome']
m5 = m4.groupby(df['id']).shift()
df2[~m4.eq(m5)]

输出：

    id        date outcome
2    3  04/09/2019      no
3    3  30/10/2019     yes
4    3  03/05/2020      no
6    5  26/12/2019      no
8    5  03/06/2020     yes
10   6  27/10/2019      no
15   6  14/04/2020     yes
16   6  24/04/2020      no