为什么求和列表理解比生成器表达式更快？

Question

不确定标题是否是正确的术语。

如果您必须比较 2 个字符串 (A,B) 中的字符并计算 B 中的字符与 A 的匹配数：

sum([ch in A for ch in B])

在 %timeit 上比

快

sum(ch in A for ch in B)

我知道第一个将创建一个 bool 列表，然后将 1 的值相加。 第二个是发电机。我不清楚它在内部做什么以及为什么速度较慢？

谢谢。

使用 %timeit 结果编辑：

10 个字符

生成器表达式

列表

10000 次循环，最好的 3 次：每个循环 112 µs

10000 次循环，3 次中的最佳：每个循环 94.6 µs

1000 个字符

生成器表达式

列表

100 个循环，3 个循环中的最佳值：每个循环 8.5 毫秒

100 个循环，3 个循环中的最佳值：每个循环 6.9 毫秒

10,000 个字符

生成器表达式

列表

10 个循环，3 个循环中的最佳值：每个循环 87.5 毫秒

10 个循环，3 个循环中的最佳：每个循环 76.1 毫秒

100,000 个字符

生成器表达式

列表

1 次循环，3 次取胜：每个循环 908 毫秒

1 个循环，3 个循环中的最佳值：每个循环 840 毫秒

Answer 1

我查看了每个构造的反汇编（使用dis）。我通过声明这两个函数来做到这一点：

def list_comprehension():
    return sum([ch in A for ch in B])

def generation_expression():
    return sum(ch in A for ch in B)

然后用每个函数调用dis.dis。

对于列表理解：

 0 BUILD_LIST               0
 2 LOAD_FAST                0 (.0)
 4 FOR_ITER                12 (to 18)
 6 STORE_FAST               1 (ch)
 8 LOAD_FAST                1 (ch)
10 LOAD_GLOBAL              0 (A)
12 COMPARE_OP               6 (in)
14 LIST_APPEND              2
16 JUMP_ABSOLUTE            4
18 RETURN_VALUE

对于生成器表达式：

 0 LOAD_FAST                0 (.0)
 2 FOR_ITER                14 (to 18)
 4 STORE_FAST               1 (ch)
 6 LOAD_FAST                1 (ch)
 8 LOAD_GLOBAL              0 (A)
10 COMPARE_OP               6 (in)
12 YIELD_VALUE
14 POP_TOP
16 JUMP_ABSOLUTE            2
18 LOAD_CONST               0 (None)
20 RETURN_VALUE

实际求和的反汇编是：

 0 LOAD_GLOBAL              0 (sum)
 2 LOAD_CONST               1 (<code object <genexpr> at 0x7f49dc395240, file "/home/mishac/dev/python/kintsugi/KintsugiModels/automated_tests/a.py", line 12>)
 4 LOAD_CONST               2 ('generation_expression.<locals>.<genexpr>')
 6 MAKE_FUNCTION            0
 8 LOAD_GLOBAL              1 (B)
10 GET_ITER
12 CALL_FUNCTION            1
14 CALL_FUNCTION            1
16 RETURN_VALUE

但是你的两个示例之间的 sum 反汇编是不变的，唯一的区别是 generation_expression.<locals>.<genexpr> 与 list_comprehension.<locals>.<listcomp> 的加载（所以只是加载不同的局部变量）。

前两次反汇编之间的不同字节码指令是 LIST_APPEND 用于列表推导与 YIELD_VALUE 和 POP_TOP 的连接用于生成器表达式。

我不会假装我知道 Python 字节码的内在特性，但我从中了解到的是生成器表达式是作为一个队列实现的，其中值被生成然后弹出。这种弹出不一定发生在列表理解中，这让我相信使用生成器会产生少量开销。

现在这并不意味着生成器总是会变慢。生成器在内存效率方面表现出色，因此会有一个阈值 N 使得列表推导在此阈值之前表现会稍好（因为内存使用不会成为问题），但在此阈值之后，生成器将显着 表现更好。

Answer 2

生成器通常比列表理解慢，生成器的全部意义在于内存效率，因为它们通过以惰性方式创建每个项目（仅在实际需要时）来生成每个项目。他们更喜欢内存效率而不是速度。