在 Pandas 中使用 difflib SequenceMatcher ratio 进行合并答案

【问题标题】：Using difflib SequenceMatcher ratio to merge in Pandas在 Pandas 中使用 difflib SequenceMatcher ratio 进行合并
【发布时间】：2015-07-30 21:36:00
【问题描述】：

我试图弄清楚是否有一种方法可以根据 difflib SequenceMatcher 比率在 Pandas 中对字符串进行模糊合并。基本上，我有两个如下所示的数据框：

df_a
company    address        merged
Apple     PO Box 3435       1

df_b
company     address
Apple Inc   PO Box 343

我想像这样合并：

df_c = pd.merge(df_a, df_b, how = 'left', on = (difflib.SequenceMatcher(None, df_a['company'], df_b['company']).ratio() > .6) and (difflib.SequenceMatcher(None, df_a['address'], df_b['address']).ratio() > .6)

有一些帖子与我正在寻找的内容相近，但没有一个适合我想要做的事情。有关如何使用 difflib 进行这种模糊合并的任何建议？

【问题讨论】：

可能有帮助：stackoverflow.com/questions/31689147/…

标签： python merge fuzzy-search difflib

【解决方案1】：

一些可行的方法：测试所有列值组合的部分匹配。如果匹配，则为 df_b 分配一个键以进行合并

df_a['merge_comp'] = df_a['company'] # we will use these as the merge keys
df_a['merge_addr'] = df_a['address']

for comp_a, addr_a in df_a[['company','address']].values:
    for ixb, (comp_b, addr_b) in enumerate(df_b[['company','address']].values)
        if difflib.SequenceMatcher(None,comp_a,comp_b).ratio() > .6:
            df_b.ix[ixb,'merge_comp'] = comp_a # creates a merge key in df_b
        if difflib.SequenceMatcher(None,addr_a, addr_b).ratio() > .6:
            df_b.ix[ixb,'merge_addr'] = addr_a # creates a merge key in df_b

现在可以合并了

merged_df = pandas.merge(df_a,df_b,on=['merge_addr','merge_comp'],how='inner')

【讨论】：