在熊猫数据框中查找与当前行值不同的先前连续出现的值的数量

Question

假设我们有以下 pandas 数据框：

df = pd.DataFrame({'x':[0,0,1,0,0,0,0],'y':[1,1,1,1,1,1,0],'z':[0,1,1,1,0,0,1]})

   x  y  z
0  0  1  0
1  0  1  1
2  1  1  1
3  0  1  1
4  0  1  0
5  0  1  0
6  0  0  1

所有数据框由 1 或 0 填充。分别查看每一列，如果当前行值与先前值不同，我需要计算先前连续值的数量：

   x  y  z
0        
1        1
2  2     
3  1     
4        3
5        
6     6  2

我尝试编写一个 lambda 函数并将其应用于整个数据帧，但我失败了。有什么想法吗？

Answer 1

让我们试试这个：

def f(col):
    x = (col != col.shift().bfill())
    s = x.cumsum()
    return s.groupby(s).transform('count').shift().where(x)

df.apply(f).fillna('')

输出：

   x  y  z
0         
1        1
2  2      
3  1      
4        3
5         
6     6  2

详情：

使用apply，在数据框的每一列上应用自定义函数。 找到列中的差异点，然后使用cumsum 创建连续值组，然后使用groupby 和transform 为每条记录创建一个count，然后使用where 屏蔽列中的值差异点。

Answer 2

您可以尝试以下方法，首先确定“运行”，然后获取“运行”长度。你只会在它切换的地方进入，所以它是除了最后一个之外的运行的长度。

import pandas as pd
import numpy as np

def func(x,missing=np.NaN):
        runs = np.cumsum(np.append(0,np.diff(x)!=0))
        switches = np.where(np.diff(x!=0))[0] + 1
        out = np.repeat(missing,len(x))
        out[switches] = np.bincount(runs)[:-1]
        # thanks to Scott see comments below 
        ##out[switches] = pd.value_counts(runs,sort=False)[:-1]
        return(out)

df.apply(func)

    x   y   z
0   NaN NaN NaN
1   NaN NaN 1.0
2   2.0 NaN NaN
3   1.0 NaN NaN
4   NaN NaN 3.0
5   NaN NaN NaN
6   NaN 6.0 2.0

运行长度编码的良好实现可能会更快..但我在python中对它不太熟悉..