迭代列表的奇怪速度差异

Question

我创建了两个重复两个不同值的长列表。在第一个列表中，值交替出现，在第二个列表中，一个值出现在另一个值之前：

a1 = [object(), object()] * 10**6
a2 = a1[::2] + a1[1::2]

然后我迭代它们，对它们什么都不做：

for _ in a1: pass
for _ in a2: pass

两者中哪一个迭代得更快？取决于我如何测量！我用每种计时方法进行了 50 场比赛：

timing method: timeit.timeit
  list a1 won 50 times
  list a2 won 0 times

timing method: timeit.default_timer
  list a1 won 0 times
  list a2 won 50 times

为什么这两种计时方法给我的结果完全相反？为什么这两个列表之间存在速度差异？我希望两次更像 25-25，而不是 50-0 和 0-50。

以前类似问题的原因以及我认为他们在这里不负责任的原因：

• branch prediction：我没有任何可以产生影响的分支。
• cache misses：不应该发生，因为我只有两个值（而且我什至没有对它们做任何事情）。
• garbage collection：这里不涉及。
• 无论如何，这些都不能解释计时方法之间的相反速度差异。

我使用的是 Python 3.10，在弱 Windows 笔记本电脑和强 Linux Google Compute Engine 实例上的结果相同。

完整代码：

from timeit import timeit, default_timer

a1 = [object(), object()] * 10**6
a2 = a1[::2] + a1[1::2]

for method in 'timeit', 'default_timer':
    wins1 = wins2 = 0

    for _ in range(50):

        time1 = time2 = float('inf')
        for _ in range(5):

            if method == 'timeit':
                t1 = timeit('for _ in a1: pass', 'from __main__ import a1', number=1)
                t2 = timeit('for _ in a2: pass', 'from __main__ import a2', number=1)
            else:
                start = default_timer();
                for _ in a1: pass
                end = default_timer()
                t1 = end - start

                start = default_timer();
                for _ in a2: pass
                end = default_timer()
                t2 = end - start

            time1 = min(time1, t1)
            time2 = min(time2, t2)

        wins1 += time1 < time2
        wins2 += time2 < time1

    print(f'timing method: timeit.{method}')
    print(f'  list a1 won {wins1} times')
    print(f'  list a2 won {wins2} times')
    print()

Answer 1

不是“答案”，而是线索：添加

def f(a):
    for _ in a: pass

然后在default_timer分支替换

for _ in a1: pass

使用f(a1)，对于a2 的迭代也是如此。

那时我看到了两件事：

1. 输出变化更均匀

timing method: timeit.timeit

  list a1 won 50 times
  list a2 won 0 times

timing method: timeit.default_timer
  list a1 won 50 times
  list a2 won 0 times

1. timeit 的运行速度不再比default_timer 快，

#2 非常明显，可能很难注意到原因；-) 在原始版本中，for 循环目标 _ 是一个全局模块，因此在每次迭代时更新它需要 dict 查找和存储。但是timeit 会根据传递给它的内容构建一个函数，因此在timeit 运行的代码中，_ 是一个局部变量，而更快的STORE_FAST 索引存储就足够了。

引入了函数f()，以便在两种情况下都对局部变量进行“繁重的提升”。

这里计时的代码做的很少，以至于 dict 查找和 index-a-vector-with-an-int 操作之间的差异可能非常显着