Python递归生成器性能

Question

在 python 中，将纯递归函数更改为递归生成器（不是普通生成器）时，性能似乎会下降。

例如，下面是两个查找列表所有组合的函数之间的性能比较：

from datetime import datetime as dt

def rec_subsets(ms, i=0, s=[]):
    if i == len(ms):
        # do something with s
        return
    rec_subsets(ms, i+1, s)
    rec_subsets(ms, i+1, s + [ms[i]])

def gen_subsets(ms, i=0, s=[]):
    if i == len(ms):
        yield s
        return
    for a in gen_subsets(ms, i+1, s): yield a
    for a in gen_subsets(ms, i+1, s + [ms[i]]): yield a

t1 = dt.now()
rec_subsets(range(20))
t2 = dt.now()
print t2 - t1

t1 = dt.now()
for _ in gen_subsets(range(20)): pass
t2 = dt.now()
print t2 - t1

输出如下：

0:00:01.027000  # rec_subsets
0:00:02.860000  # gen_subsets

人们自然会期望 gen_subsets 大约与 rec_subsets 一样快，但事实并非如此，它要慢得多。

这是正常的还是我错过了什么？

Answer 1

rec_subsets() 仍然更快（对于range(20)），即使在# do something with s 的位置添加result.append(s) 并且gen_subsets() 和rec_subsets() 的结果都已被消耗。

PEP 380 (yield from syntax support) 的以下引用可能会解释这一点：

使用专门的语法开辟了优化的可能性 当有很长的发电机链时。这样的链条可能会出现，因为 例如，当递归遍历树结构时。开销 传递__next__() 调用并在链上向上传递值 在最坏的情况下，可能会导致应该是 O(n) 的操作变成 情况下，O(n**2)。

你可以使用itertools.combinations()生成一个powerset：

from itertools import combinations

def subsets_comb(lst):
    return (comb for r in range(len(lst)+1) for comb in combinations(lst, r))

range(20) 在我的机器上更快：

name                    time ratio comment
subsets_comb        227 msec  1.00 [range(0, 20)]
subsets_ipowerset   476 msec  2.10 [range(0, 20)]
subsets_rec         957 msec  4.22 [range(0, 20)]
subsets_gen_pep380 2.34  sec 10.29 [range(0, 20)]
subsets_gen        2.63  sec 11.59 [range(0, 20)]

要重现结果，run time-subsets.py。