生成器的 itertools.tee 的隐式内存消耗

Question

我正在使用来自here 和here 的答案来检查我的生成器x 是否为空。

from itertools import tee
def my_generator():
    yield from range(100000000)
x = my_generator()
x, y = tee(x)
try:
    next(y)
except StopIteration:
    # x is empty do something
    quit()

从x 中提取的元素会发生什么？他们可以被丢弃吗？还是必须保存在内存中以供y使用？

# now consume x entirely
for z in x:
    print(x)
# how can y iterate over its objects ?
# will they have to reside in memory now ??

Answer 1

tl;dr - 从x 产生的元素将保留在内存中，直到它们也从y 产生。

使用itertools.tee 时，必须为从tee 返回的所有迭代器保存所有生成元素的副本。 在您的情况下，它们是 x 和 y。

这样做是为了允许通过x 和y 进行完全迭代。

如果您查看Python docs for itertools.tee 中的等效实现，您可以看到所有生成的值都被保存，直到它们从返回的所有生成器tee 中生成。

在您的情况下，您必须同时使用 x 和 y 或让它们（两者）超出范围并进行垃圾收集以释放项目。