Pandas 中删除不同列中具有重复值的列的有效方法

Question

我正在 Pandas 中寻找一种高效且优雅的方式来删除 DataFrame 中具有完全相同的值集但在不同列中的“重复”行。

理想情况下，我正在寻找一种矢量化方法来执行此操作，因为我已经可以使用 Pandas pandas.DataFrame.iterrows() 方法识别非常低效的方法。

假设我的 DataFrame 是：

source|target|
----------------
| 1   |  2   |
| 2   |  1   |
| 4   |  3   |
| 2   |  7   |
| 3   |  4   |

我希望它变成：

source|target|
----------------
| 1   |  2   |
| 4   |  3   |
| 2   |  7   |

Answer 1

df = df[~pd.DataFrame(np.sort(df.values,axis=1)).duplicated()]

    source  target
0   1   2
2   4   3
3   2   7

解释：

np.sort(df.values,axis=1) 正在按列对 DataFrame 进行排序

array([[1, 2],
       [1, 2],
       [3, 4],
       [2, 7],
       [3, 4]], dtype=int64)

然后从中创建一个数据框并在duplicated上使用前缀~检查non duplicated

~pd.DataFrame(np.sort(df.values,axis=1)).duplicated()

0     True
1    False
2     True
3     True
4    False
dtype: bool

并将其用作mask 获得最终输出

    source  target
0   1   2
2   4   3
3   2   7