python生成器使用起来太慢了。我为什么要使用它？什么时候？

Question

最近有人问我iterator、list comprehension、iter(list comprehension) 和generator 中哪一个是最快的。 然后制作如下简单的代码。

n = 1000000
iter_a = iter(range(n))
list_comp_a = [i for i in range(n)]
iter_list_comp_a = iter([i for i in range(n)])
gene_a = (i for i in range(n))

import time
import numpy as np

for xs in [iter_a, list_comp_a, iter_list_comp_a, gene_a]:
    start = time.time()
    np.sum(xs)
    end = time.time()
    print((end-start)*100)

结果如下。

0.04439353942871094 # iterator
9.257078170776367 # list_comprehension
0.006318092346191406 # iterator of list_comprehension
7.491207122802734 # generator 

generator 比其他东西慢。 不知道什么时候有用？

Answer 1

generators 不要一次性将所有元素存储在内存中。他们yield 一次一个，这种行为使他们的内存效率更高。因此，您可以在内存受限时使用它们。

Answer 2

作为序言：您的整个基准测试完全是错误的 - “list_comp_a”测试不使用列表理解测试列表的构建时间（“iter_list_comp_a”fwiw 也不测试），并且使用iter() 的测试大部分是无关紧要的 - iter(iterable) 只是 iterable.__iter__() 的快捷方式，只有在你想操纵迭代器本身时才有用，这实际上很少见。

如果你希望得到一些有意义的结果，你想要的基准是列表解析、生成器表达式和生成器函数的执行。为了测试它们的执行，最简单的方法是将所有三个案例包装在函数中，一个执行一个列表推导，另外两个从 resp 构建列表。生成器表达式和从生成器函数构建的生成器）。在所有情况下，我都使用xrange 作为真正的来源，所以我们只对有效差异进行基准测试。此外，我们使用timeit.timeit 进行基准测试，因为它比手动弄乱time.time() 更可靠，并且实际上是对小代码sn-ps 进行基准测试的pythonic 标准规范方法。

import timeit
# py2 / py3 compat
try:
    xrange
except NameError:
    xrange = range

n = 1000

def test_list_comp():
    return [x for x in xrange(n)]

def test_genexp():
    return list(x for x in xrange(n))

def mygen(n):
    for x in xrange(n):
        yield x

def test_genfunc():
    return list(mygen(n))

for fname in "test_list_comp", "test_genexp", "test_genfunc":
    result = timeit.timeit("fun()", "from __main__ import {} as fun".format(fname), number=10000)
    print("{} : {}".format(fname, result))

在这里（5 年以上标准桌面上的 py 2.7.x）我得到以下结果：

test_list_comp : 0.254354953766
test_genexp : 0.401108026505
test_genfunc : 0.403750896454

如您所见，列表推导更快，并且生成器表达式和生成器函数在很大程度上等价于生成器表达式，但具有非常轻微的优势（但如果您重复测试，则保持不变）。

现在回答您的主要问题“您为什么以及何时使用生成器”，答案有三个：1/ 内存使用、2/ 无限迭代和 3/ 协程。

第一点：内存使用。实际上，这里不需要生成器，只需要惰性迭代，可以通过 writing your own iterable / iterable 获得 - 例如内置的 file 类型 - 在某种程度上避免将所有内容加载到内存中并且只动态生成值.这里生成器表达式和函数（以及底层的generator 类）是实现惰性迭代的通用方法，无需编写自己的可迭代/迭代器（就像内置的property 类是使用自定义descriptors 而无需编写的通用方法你自己的描述符类）。

第二点：无限迭代。在这里，我们有一些你不能从序列类型（列表、元组、集合、字典、字符串等）中得到的东西，根据定义，它们是有限的）。一个例子是the itertools.cycle iterator：

从可迭代对象中返回元素，直到用完为止。 然后无限期地重复这个序列。

请注意，这里的能力不是来自生成器函数或表达式，而是来自可迭代/迭代器协议。与内存使用优化相比，无限迭代的用例显然更少，但在您需要时它仍然是一个方便的功能。

最后是第三点：协程。嗯，这是一个相当复杂的概念，特别是你第一次阅读它，所以我让别人来做介绍：https://jeffknupp.com/blog/2013/04/07/improve-your-python-yield-and-generators-explained/

这里你有一些只有生成器才能提供的东西，而不是迭代器/迭代器的便捷快捷方式。

Answer 3

我想我问了一个错误的问题，也许吧。 在原始代码中，这是不正确的，因为 np.sum 不能正常工作。 np.sum(iterator) 不返回正确答案。所以，我改变了我的代码，如下所示。

n = 10000
iter_a = iter(range(n))
list_comp_a = [i for i in range(n)]
iter_list_comp_a = iter([i for i in range(n)])
gene_a = (i for i in range(n))

import time
import numpy as np
import timeit

for xs in [iter_a, list_comp_a, iter_list_comp_a, gene_a]:
    start = time.time()
    sum(xs)
    end = time.time()
    print("type: {}, performance: {}".format(type(xs), (end-start)*100))

然后，性能如下所示。 list 的性能最好，迭代器不好。

type: <class 'range_iterator'>, performance: 0.021791458129882812
type: <class 'list'>, performance: 0.013279914855957031
type: <class 'list_iterator'>, performance: 0.02429485321044922
type: <class 'generator'>, performance: 0.13570785522460938

就像@Kishor Pawar 已经提到的那样，该列表的性能更好，但是当内存大小不够时，list 的总和太高n 会使计算机变慢，但iterator 的总和太高高n，也许它真的需要很多时间来计算，但并没有让电脑变慢。

谢谢大家。 当我必须计算大量数据时，生成器会更好。 但是，