如何从列表中找到相似但不准确的值？

Question

我有超过 500k 的城市名称记录，但数据输入不正确，例如单词 AHMADNAGAR 按以下方式输入，

 1. AEHMADNAGAR
 2. AHEMADNAGR
 3. AHMAD NAGAR
 4. AHMADNAGGAR

这是仅一个城市的示例，我必须扫描超过 50 万条记录并希望找到相似但不完全相似的单词。

我创建了 .txt 文件并分享了链接，其中包括了 17K 城市，请参阅文件 Here

我尝试了什么？

from difflib import get_close_matches
        
def closeMatches(patterns, word):
    print(get_close_matches(word, patterns))

    
citylist=['AHMADNAGAR','XYZ','AEHMADNAGAR','AHEMADNAGR','AHMADNAGAR','AHMADNAGGAR','ABC','test','test2']
     for city in citylist:  
         closeMatches(patterns, city)

预期输出：（当我们传递 city 运行时它应该打印相似的值但不完全相似，即使我已经删除了相似的值，我们没有任何重复）

example output of one city ( we have 500K cities, please check file, I included some of them there )

    AHMADNAGAR
    AEHMADNAGAR
    AHEMADNAGR
    AHMADNAGAR
    AHMADNAGGAR

这里的问题是，不能在这里传递city 来手动创建pattern 另一个问题是它没有显示所有变化。

我从朋友那里得知我们可以使用regex，但是如何使用呢？有什么方法可以创建regex runtime 并将其与所有记录匹配

只想获取相似城市列表

Answer 1

您无需实现自己的循环或将get_close_matches 包装在另一个函数中。只需提供您要匹配的城市名称 ('AHMADNAGAR') 和get_close_matches 函数的可能匹配列表。默认为 3，因此如果需要更多，请指定更高的 n。

>>> from difflib import get_close_matches
>>> citylist=['AHMADNAGAR','XYZ','AEHMADNAGAR','AHEMADNAGR','AHMADNAGAR','AHMADNAGGAR','ABC','test','test2']
>>> get_close_matches('AHMADNAGAR', citylist, n=len(citylist))
['AHMADNAGAR', 'AHMADNAGAR', 'AHMADNAGGAR', 'AEHMADNAGAR', 'AHEMADNAGR']

注意，结果是按相似度排序的，所以首先是完全匹配，其次是最接近的匹配，以此类推。

difflib 的文档在这里：https://docs.python.org/3/library/difflib.html

Answer 2

get_close_matches() 的第二个参数是一个列表，如果您只是想获得最接近的匹配项，您可以运行：

from difflib import get_close_matches
    
city_list = ['AHMADNAGAR','AEHMADNAGAR','AHEMADNAGR','AHMAD NAGAR', 'AHMADNAGGAR','test','test2']

close_matches = get_close_matches('AHMADNAGAR', city_list)
for close_match in close_matches:
    print(close_match)