Python、嵌套循环、匹配和性能

Question

我正在尝试使用 Python 2.7 和 Levenshtein 函数将姓氏列表与全名列表进行匹配。为了减少工作量，我只在第一个字母相同的情况下匹配（尽管这似乎对性能没有太大影响）。如果找到匹配项，则从全名中删除匹配的单词（以使后续的名字匹配更容易）。 两个列表都包含数万个条目，因此我的解决方案相当慢。在不解析全名的情况下如何加快速度？ 到目前为止，这是我所拥有的（对于姓氏由多个单词组成的情况，我省略了一些 if 条件）：

import Levenshtein

listoflastnames=(['Jones', 'Sallah'])
listoffullnames=(['Henry', 'Jones', 'Junior'],['Indiana', 'Jones'])


def match_strings(lastname, listofnames):
    match=0
    matchedidx=[]
        for index, nameelement in enumerate(listofnames):        
            if lastname[0]==nameelement [0]:
                if Levenshtein.distance(nameelement, lastname)<2:
                    matchedidx.append(index)
                    match=match+1
    if match==1:
        newnamelist = [i for j, i in enumerate(listofnames) if j not in matchedidx]
    return 1, newnamelist 
return 0, listofnames



for x in listoflastnames:
    for y in listoffullnames:
        match, newlistofnames=match_strings(x,y)
        if match==1:
            #go to first name match...

任何帮助将不胜感激！

更新：与此同时，我使用了多处理模块让我所有的 4 个内核而不是一个内核来处理这个问题，但匹配仍然需要很多时间。

Answer 1

这简化了match_string 函数中的for 循环，但在我的测试中并没有显着提高速度。最大的损失在两个for 循环中，分别是姓氏和全名。

def match_strings(lastname, listofnames):
    firstCaseMatched = [name for name in listofnames if lastname[0] == name[0]]
    if len(firstCaseMatched):
        matchedidx = [index for index, ame in enumerate(firstCaseMatched) if Levenshtein.distance(lastname, name) < 2]
        match = len(matchedidx)
    else:
        match = 0
    if match == 1:
        newnamelist = [i for j, i in enumerate(listofnames) if j not in matchedidx]
        return 1, newnamelist
    return 0, listofnames

您可能需要对已知姓氏列表进行排序，将它们拆分为每个起始字符的dict。然后将名称列表中的每个名称与之匹配。

假设全名列表总是将名字作为第一个元素。您可以将比较限制为仅其他元素。