如何将模糊函数与 apply(lambda x: ) 函数结合起来？答案

【问题标题】：How to combine the fuzzy function with apply(lambda x: ) function?如何将模糊函数与 apply(lambda x: ) 函数结合起来？
【发布时间】：2021-09-06 18:08:12
【问题描述】：

我有 2 个数据框 df1 和 df2，如下所示：

df1:

Id    Name      
1    Tuy Hòa      
2    Kiến thụy 
3    Bình Tân

df2:

code    name      
A1     Tuy Hoà    
A2     Kiến Thụy  
A3     Tân Bình

现在当我使用合并时：

out_df = pd.merge(df1, df2, left_on=['Name'], right_on=['name'], how='outer')

当然结果为空，因为Tuy Hòa Tuy Hoà 的例子（问题是位置符号“`”），... 然后我使用模糊函数并应用 lambda 但它根本不正确:(

我的功能：

def checker(Name,names):
    correct_name = ''
    correct_ratio = 0
    if Name in names:
        ratio = 100
    else:  
        try:
            x = process.extractOne(Name, names, scorer=fuzz.token_set_ratio, score_cutoff = 80)
            correct_name = x[0]
            #correct_ratio = x[1]
        except:
            correct_name = ''
            #correct_ratio = 0
    return correct_name

然后我转换：

names = df2['name'].tolist()

之后我使用apply循环，比较并输出正确（df1必须基于df2才能正确）

df1['Name'] = df1['Name'].apply(lambda x: checker(x,names) if not checker(x,names) else x)

现在的输出是：

df1

Id    Name      
1    Tuy Hòa      
2    Kiến Thụy 
3    Tân Bình

似乎Tuy Hòa 和Kiến Thụy 是正确的，但Bình Tân 和Tân Bình 是不同的名称！所以在这种情况下改变位置字符是正确的，而不是输入错误:(期望输出应该是：

df1

Id    Name      
1    Tuy Hòa      
2    Kiến Thụy 
3    Bình Tân

我尝试将fuzz.ratio 与score_cutoff = 55 一起使用，但在某些情况下会错过配对

任何解决方案都比我的解决方案更好？（也许不使用模糊库？）请帮助我。非常感谢您的帮助

【问题讨论】：

您为fuzzywuzzy（标记集）选择的记分器将字符串作为（顾名思义）标记集进行比较。集合没有内部排序，因此该记分器将返回“Foo Bar”作为“Bar Foo”的完全匹配。

标签： python pandas lambda apply fuzzywuzzy

【解决方案1】：

更新：策略与我之前的答案相同，但算法已从 Levenshtein distance 替换为 Damerau–Levenshtein distance。

我稍微修改了您的输入数据以更好地理解：

>>> df1
    Id        Name
11   1     Tuy Hòa  # match 18 'Tuy Hoà'
12   2   Kiến thụy  # match 16 'Kiến Thụy'
13   3    Bình Tân  # no match
14   4  Louis Paul  # no match

>>> df2
   code       name
16   A2  Kiến Thụy
17   A3   Tân Bình
18   A1    Tuy Hoà
19   A4   John Doe

使用 pyxDamerauLevenshtein 包的 Damerau–Levenshtein 距离来计算将一个单词变为另一个。（来源：Wikipedia）。

# pip install pyxDamerauLevenshtein
from pyxdameraulevenshtein import damerau_levenshtein_distance_seqs

seqs = df1['Name'].apply(lambda s: damerau_levenshtein_distance_seqs(s, df2['name'])

>>> seqs
11    [8, 6, 2, 7]  # 11 <-> 18 (2 operations)
12    [1, 7, 8, 7]  # 12 <-> 16 (1 operation)
13    [7, 6, 7, 6]  # 13 <-> 17 or 19 (6 operations)
14    [9, 9, 8, 8]  # 14 <-> 18 or 19 (8 operations)
Name: Name, dtype: object

应用merge 并允许最大操作数：

MAXOPS = 3

df1['other'] = seqs.apply(lambda x: df2.index[x.index(min(x))]
                              if min(x) <= MAXOPS else pd.NA)
out = pd.merge(df1, df2, left_on='other', right_index=True, how='outer')

>>> out
       Id        Name other code       name
11.0  1.0     Tuy Hòa    18   A1    Tuy Hoà
12.0  2.0   Kiến thụy    16   A2  Kiến Thụy
13.0  3.0    Bình Tân  <NA>  NaN        NaN
14.0  4.0  Louis Paul  <NA>  NaN        NaN
NaN   NaN         NaN    17   A3   Tân Bình
NaN   NaN         NaN    19   A4   John Doe

现在您可以随意删除所有不需要的列，保留一个名称等。

【讨论】：

感谢您的帮助，您的代码真的很干净，而不是像我这样使用函数^^但问题是除了演示案例“Tân Bình”“Bình Tân”这样的案例还有很多（正如我上面描述的那样，它们是不同的）
@NLeeT，我更新了我的答案。它应该在您的样本上。
啊我忘了，你知道如何在 Anaconda 中安装它吗？我尝试使用“conda install -c conda-forge pyxdameraulevenshtein”，但它不起作用:(
pip install 与 conda 兼容。

【解决方案2】：

如果您在两个 DataFrame 之间的偏差完全是以下因素的组合

不同的口音
大写/小写差异和
交换了名字和姓氏，

我会在两个 DataFrame 中创建一个新列 name_normalized

has all accents stripped
转换为小写和
对单个单词进行排序。

如果您仍然没有在 merge 上得到完全匹配，最好建议您查看现有的模糊匹配库，如问题 is it possible to do fuzzy match merge with python pandas? 中所述

【讨论】：