如何删除python中的重复值？

Question

I have added an excel image here!我使用 python 对 Excel 表进行了重复数据删除。重复数据删除后，它有一个cluster id 列。一组重复行的簇 id 可以为 0，表示这 n 行具有相同的值。现在，对于唯一的行，集群 id 没有值，甚至没有，它只是空的。 我只想删除那些具有cluster id 值的行，以便我可以拥有所有不同的行。对于重复数据删除，我使用的是pandas_dedupe 库。

import pandas as pd
import pandas_dedupe as pdd
df=pd.read_csv('sample.csv')
df=pdd.dedupe_dataframe(df,['firstname','lastname','gender','zipcode','address'])
#deletion part to be written here
df.to_csv('sample_deduplicated.csv')

Answer 1

据我了解，您希望保留所有具有空 cluster id 列的行并删除在 cluster id 列中具有值的行。

您可以简单地将过滤条件设置为只取空的cluster id 行。

df[df['cluster id'].isna()]

关于Series.isna()的参考请参考documentaion。