循环性能下降

Question

我有以下代码：

keywordindex = cPickle.load(open('keywordindex.p','rb'))#contains~340 thousand items
masterIndex = {}

indexes = [keywordindex]
for partialIndex in indexes:
    start = time.time()
    for key in partialIndex.iterkeys():
        if key not in masterIndex.keys():
            masterIndex[key]= partialIndex[key]
        elif key in masterIndex.keys():
            masterIndex[key].extend(partialIndex[key])
    cPickle.dump(masterIndex,open('MasterIndex.p','wb'))

    print int(time.time() - start), ' seconds'#every thousand loops

当循环运行时，我正在经历性能下降，前 10000 次大约需要 5 秒/1000 秒，但每 10000 次左右需要另外 1 秒，直到它需要 3 倍的时间。我试图以各种可能的方式简化代码，但我似乎无法弄清楚是什么原因造成的。是否有一个原因？这不是内存问题，我只有 30% 的使用率

Answer 1

此块包含两个极其低效的编码实例：

    if key not in masterIndex.keys():
        masterIndex[key]= partialIndex[key]
    elif key in masterIndex.keys():
        masterIndex[key].extend(partialIndex[key])

首先，关键是或不在masterIndex 中，因此elif 测试根本没有有用 点。如果not in 测试失败，in 测试必须成功。所以这段代码也是一样的：

    if key not in masterIndex.keys():
        masterIndex[key]= partialIndex[key]
    else:
        masterIndex[key].extend(partialIndex[key])

其次，masterIndex 是 dict。字典支持非常有效的成员资格测试，无需您的任何帮助；-) 通过将其键具体化到列表中（通过.keys()），您正在将 应该 的快速字典查找更改为可怕的对列表进行慢速线性搜索。所以改为这样做：

    if key not in masterIndex:
        masterIndex[key]= partialIndex[key]
    else:
        masterIndex[key].extend(partialIndex[key])

然后代码会运行得更快。

Answer 2

您无需搜索masterIndex.keys()。另外，只需使用一个空的else 子句：

if key not in masterIndex:
    ...
else:
    ...

字典上的in 运算符查询该字典的键，该操作的平均时间复杂度为 O(1)。