过滤掉仅在前一行中包含重复值的行

Question

我正在使用 Python 和 pandas 库。我有一个数据框 df。我需要编写一个函数来过滤掉重复项，也就是说，删除与上面一行包含相同值的行

示例：

df = pd.DataFrame({'A': {0: 1, 1: 2, 2: 2, 3: 3, 4: 4, 5: 5, 6: 5, 7: 5, 8: 6, 9: 7, 10: 7}, 'B': {0: 'a', 1: 'b', 2: 'c', 3: 'd', 4: 'e', 5: 'f', 6: 'g', 7: 'h', 8: 'i', 9: 'j', 10: 'k'}})

我在下面写了代码。

total_len = len(df.index)
for i in range(total_len):
        if df['A'].loc[i] == df['A'].loc[i+1]: 
            df['A'].drop(df['A'].index[i+1])
        else:
            df['A']

我做错了什么？

Answer 1

您的代码的问题是此 df 的范围是 0-10（11 行）。但是，当您使用 df['A'].loc[i+1] 时，当 i = 10 时，它会搜索 i+1 行进行比较，但该行不存在。因此KeyError 11

total_len = len(df.index)
for i in range(total_len):
        if df['A'].loc[i] == df['A'].loc[i+1]: 
            df['A'].drop(df['A'].index[i+1])
        else:
            df['A']

#ERROR            
KeyError: 11   

相反，解决此问题的更好方法是简单地从第二行开始迭代，比较之前的行，以获得标志 True 和 False 的列表。然后你可以用它来过滤 df -

dup = [True]

total_len = len(df.index)
for i in range(1, total_len):
    if df.iloc[i]['A'] == df.iloc[i-1]['A']:
        dup.append(False)
    else:
        dup.append(True)
        
print(df[dup])

   A  B
0  1  a
1  2  b
3  3  d
4  4  e
5  5  f
8  6  i
9  7  j

Answer 2

不用循环也可以做到

df = df[ # filter df with a boolean array
    df.A.ne(df.A.shift()) # find out if elements are different from the row above
]