自定义迭代器和 itertools.tee 问题

Question

我的自定义迭代器应该在调用 next 时调用特定方法。它最初是这样工作的，但是在迭代器上第二次调用 itertools.tee 之后，该方法就没有被调用。

我实际上已经有了解决方案/解决方法，但我想了解问题的根本原因。

class MyIterator(object):
    def __init__(self, elements):
        self._elements = iter(elements)

    def __iter__(self):
        return self

    def next(self):
        element = (self._elements)

        if isinstance(element, HwState):
            element.el_method()

        return element

elements = list(...)
iterator1, iterator2 = itertools.tee(MyIterator(elements))
element1 = next(iterator2)    # ok
element2 = next(iterator2)    # ok
iterator1, iterator2 = itertools.tee(MyIterator(iterator1))
element1 = next(iterator2)    # el_method() is not called but correct element is returned
element2 = next(iterator2)    # el_method() is not called but correct element is returned

我这样“解决”了这个问题：

elements = list(...)
iterator = MyIterator(elements)
element1 = next(iterator)
element2 = next(iterator)
iterator = MyIterator(elements)
element1 = next(iterator)    # el_method() is called, correct element is returned
element2 = next(iterator)    # el_method() is called, correct element is returned

Answer 1

请参阅文档中包含的 itertools.tee 的“大致等效”实现：

def tee(iterable, n=2):
    it = iter(iterable)
    deques = [collections.deque() for i in range(n)]
    def gen(mydeque):
        while True:
            if not mydeque:             # when the local deque is empty
                try:
                    newval = next(it)   # fetch a new value and
                except StopIteration:
                    return
                for d in deques:        # load it to all the deques
                    d.append(newval)
            yield mydeque.popleft()
    return tuple(gen(d) for d in deques)

基本上，tee 为每个生成的迭代器保留一个队列。当请求一个新值时，如果迭代器队列中有东西，它会从那里获取下一个值，如果队列是空的，它会在原始迭代器上调用一次next，并将结果添加到每个队列。这意味着生成的值被“缓存”并由每个迭代器返回，而不是重复生成元素的工作。

此外，tee 通常不可能按照您的预期运行，因为tee 通常不知道如何复制迭代器。例如考虑一个文本文件。一旦您原则上阅读了一行，您就不能返回（在简单的顺序访问中），并且没有“复制文件迭代器”之类的东西（要模拟类似的东西，您需要多个文件处理程序或查找），所以您只需保存您读取的行并稍后在其他迭代器中返回它们。