我正在尝试删除 df 中两个 cols 的重复值 - 我没有收到错误，但代码运行但没有删除 dups -
首先，我运行下面的函数来删除所有可能的重复组合，如下所示 -
def remove_dup_combos(df):
u = df.filter(like='id').values
m = pd.DataFrame(np.sort(u, axis=1)).duplicated()
df = df[~m]
return df
这会删除所有重复的组合
我现在尝试使用
删除两个 id cols 中的所有 dupdef remove_dups(df):
df = df.drop_duplicates(['id1', 'id2'],keep='first')
return df
但这并没有给我预期的输出，并且输出与上面的第二个输出相同
谢谢！
【问题讨论】：
标签： python-3.x pandas dataframe duplicates data-analysis
您似乎希望根据 unordered id 确定重复项，而 Pandas 没有这种感觉。比如这两个条目
df = pd.DataFrame([['a', 'b'], ['b', 'a']], columns=['id1', 'id2'])
id1 id2
0 a b
1 b a
会被认为不同，因为它们在 id1 或 id2 上不匹配。如果要检查两个ids 的无序集是否重复，可以比较它们的最小值和最大值是否重复。比如添加一些临时列，
df.assign(min_id = lambda x : x[['id1', 'id2']].min(axis=1),
max_id = lambda x : x[['id1', 'id2']].max(axis=1)) \
.drop_duplicates(subset=['min_id', 'max_id']) \
.drop(['min_id', 'max_id'], axis=1)
这几乎就是问题中的 NumPy 解决方案正在做的事情。
【讨论】：
如果需要删除每列相同的值：
df = df[df['id1'] != df['id2']]
【讨论】：