【问题标题】:`yield from` generator vs `yield from` list performance [duplicate]`yield from`生成器与`yield from`列表性能[重复]
【发布时间】:2020-05-25 19:18:34
【问题描述】:
Python 3.6.8 (default, Oct  7 2019, 12:59:55) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.9.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]: def yield_from_generator(): 
   ...:     yield from (i for i in range(10000)) 
   ...:                                                                                                                                    

In [2]: def yield_from_list(): 
   ...:     yield from [i for i in range(10000)] 
   ...:                                                                                                                                    

In [3]: import timeit                                                                                                                      

In [4]: timeit.timeit(lambda: list(yield_from_generator()), number=10000)                                                                  
Out[4]: 5.3820097140014695

In [5]: timeit.timeit(lambda: list(yield_from_list()), number=10000)                                                                       
Out[5]: 4.333915593000711

我多次运行yield from 生成器和yield from 列表。列表版本总是提供更好的性能,而我的直觉告诉我相反的结论 - 制作列表需要即在启动时分配内存。为什么我们会注意到这样的性能差异?

【问题讨论】:

  • 列表占用更多内存的事实并不意味着它应该具有更好的时间性能。致电next()(并可能转交StopIteration)可能会很昂贵
  • 您看不到分配 10000 项列表的成本,因为这只发生在第一次调用列表中的收益时,并且在列表中的 9999 个后续收益中被稀释,这些收益(大概)非常快。
  • 请注意,在 Python 3.8 上 yield_from_generator (略)快
  • 我用的是python-3.8.1,生成器还是比较慢。 yield from 无关紧要 - 普通的 return 给出基本相同的结果。这个问题似乎与这个问题重复:stackoverflow.com/questions/11964130/….
  • 那个老骗子正在讨论 Python 2 的东西;除了 yield from 在 Python 2 中不存在之外,列表组合在 Python 3 中略有不同:它们现在创建自己的范围,但 IIRC 已经进行了一些改进,因此拥有自己的范围不会对速度产生很大影响。所以我很犹豫是否将这个问题与 Python 2 欺骗目标进行欺骗。

标签: python list generator yield coroutine


【解决方案1】:

简短的回答是表面语法使它们看起来比实际更相似

我将更详细地分解一系列功能(dis 模块对此很有帮助),我将把它们分成设置成本和每个产生值的成本。我们开始:

def yield_from_generator():
    yield from (i for i in range(10000))

费用为:

  • 设置:创建范围对象并调用嵌入式生成器表达式
  • per-yield:来自genexpr 的产量,它还在range 迭代器上调用next。注意这里有两个上下文切换

接下来我们看看:

def yield_from_list():
    yield from [i for i in range(10000)]

成本是:

  • 设置:创建一个新列表并使用列表推导填充它。这使用特殊的list 操作码,所以会很快
  • per-yield:只恢复 list 的迭代器,速度很快

接下来我们看一个类似的函数:

def yield_from_list2():
    yield from list(i for i in range(10000))

这不使用特殊的列表操作码并且有生成器的双重嵌套,所以又慢了。成本是:

  • 设置:创建一个新的生成器表达式并将其传递给列表构造函数,这将遍历遍历范围对象的生成器表达式
  • per-yield:使用 list 的迭代器,所以又快了

最后是一个快速版本,只是强调yield from:

def yield_from_generator2():
    yield from range(10000)

成本是:

  • 设置:创建一个range 对象
  • per-yield:直接恢复 range 迭代器

所有这些在我的笔记本电脑上的时间是:

yield_from_generator  639 µs
yield_from_list       536 µs
yield_from_list2      689 µs
yield_from_generator2 354 µs

希望现在更清楚一点。另一个版本是:

def yield_from_list3():
    yield from list(range(10000))

运行时间为 401 µs,但希望更明显的是为什么它位于中间,性能方面

【讨论】:

  • @HeapOverflow 我使用术语“生成器表达式”来表示隐藏的嵌入式函数。这是不正确的(并且已经更改了术语),但不确定如何解释它或什么是好的参考
猜你喜欢
  • 2023-01-25
  • 2017-04-29
  • 2014-01-10
  • 2019-04-07
  • 1970-01-01
  • 2021-11-30
  • 2015-01-14
  • 2020-05-09
  • 2014-04-22
相关资源
最近更新 更多