Pandas 模糊检测重复项答案

【问题标题】：Pandas fuzzy detect duplicatesPandas 模糊检测重复项
【发布时间】：2016-09-14 12:13:46
【问题描述】：

如何在 pandas 中使用模糊匹配来检测重复行（高效）

如何在没有将 row_i toString() 转换为巨大的 for 循环并将其与所有其他列进行比较的情况下找到一列与所有其他列的重复项？

【问题讨论】：

FuzzyWuzzy 是编辑距离的一种实现，它非常适合在 numpy 或类似语言中构建成对距离矩阵。要检测“重复”或近似匹配，您至少必须从每一行与其他行进行比较，否则您将永远不知道两者是否彼此接近。有关在 scipy 中使用 pdist 的解决方案，请参阅 stackoverflow.com/questions/24089973/…。
你可能会近似它——见cs.stackexchange.com/questions/2093/…
或看中：en.wikipedia.org/wiki/BK-tree。不确定这些是否对您的案例特别有帮助。
谢谢 - 我需要调查一下。您会建议按行执行距离操作，还是建议“添加”每个字段的距离？
这似乎很有趣gist.github.com/nibogd/94363e93f4e0256b4665eb743dbfa211 - 他们提到索引时间很慢但肯定不如 n^2 慢？

标签： python pandas fuzzy-search locality-sensitive-hash record-linkage

【解决方案1】：

不是 pandas 特有的，但在 python 生态系统中，dedupe python library 似乎可以满足您的需求。特别是，它允许您分别比较一行的每一列，然后将这些信息组合成一个匹配的概率分数。

【讨论】：

【解决方案2】：

pandas-dedupe 是你的朋友。您可以尝试执行以下操作：

import pandas as pd
from pandas_deudpe import dedupe_dataframe

df = pd.DataFrame.from_dict({'bank':['bankA', 'bankA', 'bankB', 'bankX'],'email':['email1', 'email1', 'email2', 'email3'],'name':['jon', 'john', 'mark', 'pluto']})

dd = dedupe_dataframe(df, ['bank', 'name', 'email'], sample_size=1)

如果您还想为相同的实体设置规范名称，请设置canonicalize=True。

[我是 pandas-dedupe 贡献者之一]

【讨论】：

【解决方案3】：

现在有一个包可以更轻松地将dedupe library 与熊猫一起使用：pandas-dedupe

（我是原dedupe库的开发者，不是pandas-dedupe包的开发者）

【讨论】：