Python 集合模块中的 defaultdict 真的比使用 setdefault 快吗？

Question

我看到其他 Python 程序员使用集合模块中的 defaultdict 用于以下用例：

from collections import defaultdict

s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]

def main():
    d = defaultdict(list)
    for k, v in s:
        d[k].append(v)

我通常使用 setdefault 来解决这个问题：

def main():
    d = {}
    for k, v in s:
        d.setdefault(k, []).append(v)

文档实际上是 claim that using defaultdict is faster，但我在测试自己时看到了相反的情况：

$ python -mtimeit -s "from withsetdefault import main; s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)];" "main()"
100000 loops, best of 3: 4.51 usec per loop
$ python -mtimeit -s "from withdefaultdict import main; s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)];" "main()"
100000 loops, best of 3: 5.38 usec per loop

我设置测试的方式有问题吗？

作为参考，我使用的是 Python 2.7.3 [GCC 4.2.1 (Apple Inc. build 5666)

Answer 1

是的，有些“错误”：

您已将(default)dict 的创建放入语句而不是设置中。构建一个新的defaultdict 比普通的dict 更昂贵，而且通常这不是您应该在程序中分析的瓶颈 - 毕竟，您构建了一次数据结构，但您会多次使用它们。

如果您进行如下测试，您会发现defaultdict 操作确实更快：

>>> import timeit
>>> setup1 = """from collections import defaultdict
... s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]
... d = defaultdict(list)"""
>>> stmt1 = """for k, v in s:
...     d[k].append(v)"""
>>> setup2 = """s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]
... d = {}"""
>>> stmt2 = """for k, v in s:
...     d.setdefault(k, []).append(v)"""
>>> timeit.timeit(setup=setup1, stmt=stmt1)
1.0283400125194078
>>> timeit.timeit(setup=setup2, stmt=stmt2)
1.7767367580925395

Win7 x64 上的 Python 2.7.3。