带/不带列表理解的python函数调用[重复]

Question

我有以下两个功能：

def foo(n=50000):
    return sum(i*i for i in range(n))  # just called sum() directly without 

def bar(n=50000):
    return sum([i*i for i in range(n)])  # passed constructed list to sum()

我希望foo 会比bar 运行得更快，但我已经用%%timeit 在ipython 中检查了foo 比bar 花费的时间稍长

In [2]: %%timeit
   ...: foo(50000)
   ...: 
100 loops, best of 3: 4.22 ms per loop

In [3]: %%timeit
   ...: bar(50000)
   ...: 
100 loops, best of 3: 3.45 ms per loop
In [4]: %%timeit
   ...: foo(10000000)
   ...: 
1 loops, best of 3: 1.02 s per loop

In [5]: %%timeit
   ...: bar(10000000)
   ...: 
1 loops, best of 3: 869 ms per loop

当我增加 n 的值时差异会增加，因此我尝试使用 dis.dis(foo) 和 dis.dis(bar) 检查功能，但它是相同的。

那么这两种方法之间出现这种时间差的原因是什么？

Answer 1

关于生成器有很多很好的答案，所以我不会详细说明。

生成器保持状态。如果您执行非常快速 操作（例如使用sum，但如果您使用 I/O 命令不会有太大差异），它们会稍微慢一些。 生成器的好处是它们不会提前将所有项目加载到内存中，而列表会这样做。

这是迭代列表时发生的情况（非常高级）：

• 您将列表中的所有项目加载到内存中
• 请求下一个元素只会为您提供指向该对象的指针

将其与生成器进行比较：

• 您的内存中没有所有项目。一次只一个项。
• 请求下一个元素会恢复生成器对象，运行代码直到到达 yield 语句。
• 然后它会在内存中生成对象的地址，以便您可以访问它。

中间的这个额外步骤是测试中的差异。

因此，生成器通常用于处理大量需要加载到内存中的数据。 （当然，生成器还有更多用例，比如协程）

使用大文件和 for 循环打印行进行过期。在某些时候，您会在使用列表时出现内存不足异常。然后尝试使用生成器，它们不会耗尽内存..