Python 如何在内部管理“for”循环？

Question

我正在努力学习 Python，并开始玩一些代码：

a = [3,4,5,6,7]
for b in a:
    print(a)
    a.pop(0)

输出是：

[3, 4, 5, 6, 7]
[4, 5, 6, 7]
[5, 6, 7]

我知道这不是在循环时更改数据结构的好习惯，但我想了解 Python 在这种情况下如何管理迭代器。

主要问题是：如果我正在更改 a 的状态，它如何知道它必须完成循环？

Answer 1

您不应该这样做的原因正是因为您不必依赖迭代的实现方式。

但回到问题。 Python 中的列表是数组列表。它们代表一块连续的已分配内存，而不是每个元素独立分配的链表。因此，Python 的列表，就像 C 中的数组一样，针对随机访问进行了优化。换句话说，从元素 n 到元素 n+1 的最有效方法是直接访问元素 n+1（通过调用 mylist.__getitem__(n+1) 或 mylist[n+1]）。

因此，列表的__next__（每次迭代调用的方法）的实现就像您期望的一样：当前元素的索引首先设置为0，然后在每次迭代后增加。

在您的代码中，如果您还打印b，您将看到发生这种情况：

a = [3,4,5,6,7]
for b in a:
    print a, b
    a.pop(0)

结果：

[3, 4, 5, 6, 7] 3
[4, 5, 6, 7] 5
[5, 6, 7] 7

因为：

• 在第 0 次迭代时，a[0] == 3。
• 在第 1 次迭代中，a[1] == 5。
• 在第 2 次迭代中，a[2] == 7。
• 在第 3 次迭代中，循环结束 (len(a) < 3)

Answer 2

kjaquier 和 Felix 讨论了迭代器协议，我们可以在您的案例中看到它的作用：

>>> L = [1, 2, 3]
>>> iterator = iter(L)
>>> iterator
<list_iterator object at 0x101231f28>
>>> next(iterator)
1
>>> L.pop()
3
>>> L
[1, 2]
>>> next(iterator)
2
>>> next(iterator)
Traceback (most recent call last):
  File "<input>", line 1, in <module>
StopIteration

由此我们可以推断出list_iterator.__next__ 的代码行为类似于：

if self.i < len(self.list):
    return self.list[i]
raise StopIteration

它不会天真地获取该项目。这会引发IndexError，它会冒泡到顶部：

class FakeList(object):
    def __iter__(self):
        return self

    def __next__(self):
        raise IndexError

for i in FakeList():  # Raises `IndexError` immediately with a traceback and all
    print(i)

确实，在 the CPython source 中查看 listiter_next（感谢 Brian Rodriguez）：

if (it->it_index < PyList_GET_SIZE(seq)) {
    item = PyList_GET_ITEM(seq, it->it_index);
    ++it->it_index;
    Py_INCREF(item);
    return item;
}

Py_DECREF(seq);
it->it_seq = NULL;
return NULL;

虽然我不知道return NULL; 最终如何转换为StopIteration。

Answer 3

我们可以通过一个小辅助函数foo轻松查看事件顺序：

def foo():
    for i in l:
        l.pop()

和dis.dis(foo) 查看生成的 Python 字节码。剪掉不那么相关的操作码，您的循环执行以下操作：

          2 LOAD_GLOBAL              0 (l)
          4 GET_ITER
    >>    6 FOR_ITER                12 (to 20)
          8 STORE_FAST               0 (i)

         10 LOAD_GLOBAL              0 (l)
         12 LOAD_ATTR                1 (pop)
         14 CALL_FUNCTION            0
         16 POP_TOP
         18 JUMP_ABSOLUTE            6

也就是说，它获取给定对象的iter（iter(l) 是列表的专用迭代器对象）并循环直到FOR_ITER 发出停止的信号。添加多汁的部分，这是FOR_ITER 所做的：

PyObject *next = (*iter->ob_type->tp_iternext)(iter);

本质上是：

list_iterator.__next__()

this (finally^*) 到达listiter_next，它在检查期间使用原始序列l 作为@Alex 执行索引检查。

if (it->it_index < PyList_GET_SIZE(seq))

当这失败时，NULL 被返回，这表明迭代已经完成。同时设置了一个StopIteration 异常，该异常在FOR_ITER 操作码代码中被静默抑制：

if (!PyErr_ExceptionMatches(PyExc_StopIteration))
    goto error;
else if (tstate->c_tracefunc != NULL)
    call_exc_trace(tstate->c_tracefunc, tstate->c_traceobj, tstate, f);
PyErr_Clear();  /* My comment: Suppress it! */

因此，无论您是否更改列表，listiter_next 中的检查最终都会失败并执行相同的操作。

^{*对于任何想知道的人，listiter_next 是一个描述符，所以有一个小函数包装它。在这种特定情况下，该函数是wrap_next，它确保在listiter_next 返回NULL 时将PyExc_StopIteration 设置为异常。}

Answer 4

AFAIK，for 循环使用迭代器协议。您可以手动创建和使用迭代器，如下所示：

In [16]: a = [3,4,5,6,7]
    ...: it = iter(a)
    ...: while(True):
    ...:     b = next(it)
    ...:     print(b)
    ...:     print(a)
    ...:     a.pop(0)
    ...:
3
[3, 4, 5, 6, 7]
5
[4, 5, 6, 7]
7
[5, 6, 7]
---------------------------------------------------------------------------
StopIteration                             Traceback (most recent call last)
<ipython-input-16-116cdcc742c1> in <module>()
      2 it = iter(a)
      3 while(True):
----> 4     b = next(it)
      5     print(b)
      6     print(a)

如果迭代器用尽（引发 StopIteration），则 for 循环停止。