Fuzzywuzzy 匹配 2 列...脚本继续运行

Question

我正在尝试将大约 50.000 个实例的 2 列与 Fuzzywuzzy 进行匹配。 A 列（公司）包含公司名称，有一些拼写错误。 B 列（正确）包含正确的公司名称。

我正在尝试将错字与正确的匹配。在下面运行我的脚本时，内核会持续执行几个小时并且不提供结果。

关于如何改进的任何想法？

非常感谢！

更新文件链接：https://fromsmash.com/STLz.VEub2-ct

import pandas as pd
from fuzzywuzzy import process, fuzz 
import matplotlib.pyplot as plt 

correct = pd.read_excel("correct.xlsx")
companies = pd.read_excel("companies2.xlsx")

actual_comp = []
similarity = []

for i in companies.Customers: 
    ratio = process.extract(i, correct.Correct, limit=1)
    actual_comp.append(ratio[0][0])
    similarity.append(ratio[0][1])
    
companies['actual_company'] = pd.Series(actual_comp)
companies['similarity'] = pd.Series(similarity) 

companies.head(10)

Answer 1

您可以更改以下几项来提高性能：

1. 使用Rapidfuzz而不是Fuzzywuzzy，因为它实现了相同的算法，但速度更快（我是作者）

2. 进程函数正在预处理您传递给它们的所有字符串（将它们小写，删除非字母数字字符并修剪空格）。现在你的预处理correct.Correctlen(companies.Customers) 次，这会花费大量时间，并且可以在循环前完成一次

3. 您只使用最佳匹配，因此最好使用process.extractOne 而不是process.extract。这更具可读性，并且在 extractOne rapidfuzz 内部使用先前比较的结​​果来提高性能

以下 sn-p 为您的代码实现了这些更改。请记住，您仍在执行 50k^2 比较，因此虽然这应该比您当前的解决方案快很多，但仍需要一段时间。

import pandas as pd
from rapidfuzz import process, fuzz, utils
import matplotlib.pyplot as plt 

correct = pd.read_excel("correct.xlsx")
companies = pd.read_excel("companies2.xlsx")

actual_comp = []
similarity = []

company_mapping = {company: utils.default_process(company) for company in correct.Correct}

for customer in companies.Customers:
    _, score, comp = process.extractOne(
        utils.default_process(customer),
        company_mapping,
        processor=None)
    actual_comp.append(comp)
    similarity.append(score)
    
companies['actual_company'] = pd.Series(actual_comp)
companies['similarity'] = pd.Series(similarity) 

companies.head(10)

出于兴趣，我执行了一个快速基准测试来计算使用您的数据集时的平均运行时间。在我的机器上，使用此解决方案每次查找大约需要 1 秒（因此总共大约需要 4.7 小时），而您之前的解决方案每次查找大约需要 55 秒（因此总共大约需要 10.8 天）。