使用 pandas 和 fuzzwuzzy 匹配相似的列元素

Question

我有一个 Excel 文件，其中一列包含 1000 多个公司名称，另一列包含大约 20,000 个公司名称。

目标是匹配尽可能多的名称。问题是第一列 (1000+) 中的名称格式不正确，这意味着“公司名称”字符串可能类似于 "9Com(panynAm9e00"。我'我试图找出解决这个问题的最佳方法。（只有 12 个名称完全匹配）

在尝试了不同的方法后，我最终尝试使用正则表达式匹配每个名称中的 4-5 个或更多字符，具体取决于每个字符串的长度。但我只是在努力寻找最有效的方法来做到这一点。

例如：

第 1 列

 1. 9Com(panynAm9e00 
 2. NikE4 
 3. Mitrosof2

第 2 列

 1. Microsoft
 2. Company Name
 3. Nike

在 Column 1 中获取第一个元素并在 Column 2 中查找匹配项。如果没有完全匹配，则查找具有 4-5 个相同字符的字符串。

有什么建议吗？

Answer 1

我想数字在实际的公司名称中并不是很常见，因此初始过滤步骤将极大地帮助前进，但这里有一个实现，即使没有这个也应该工作得相对好。如果你愿意的话，可以使用 bag-of-letters (bag-of-words) 方法：

1. 将所有内容（第 1 列和第 2 列）转换为小写
2. 对于第 2 列中的每个已知公司，存储每个唯一字母，以及它在字典中出现（计数）的次数
3. 对第 1 列中的每个条目执行相同操作（步骤 2）
4. 对于第 1 列中的每个条目，从真实公司名称列表中找到最接近的字母袋（第 2 步中的字典）

字典距离的实现取决于你。

Answer 2

我建议使用pandas 和pd.read_excel() 读取您的Excel 文件，然后使用fuzzywuzzy 执行匹配，例如：

import pandas as pd
from fuzzywuzzy import process, fuzz

df = pd.DataFrame([['9Com(panynAm9e00'],
        ['NikE4'],
        ['Mitrosof2']],
        columns=['Name'])

known_list = ['Microsoft','Company Name','Nike']

def find_match(x):

  match = process.extractOne(x, known_list, scorer=fuzz.partial_token_sort_ratio)[0]
  return match

df['match found'] = [find_match(row) for row in df['Name']]

产量：

               Name   match found
0  9Com(panynAm9e00  Company Name
1             NikE4          Nike
2         Mitrosof2     Microsoft