Python 如何如此快速地从列表中删除元素？

Question

我现在正在学习 Python，并试图了解容器在实践中的工作原理。 有一个问题我无法解释。 假设，我创建了一个非常大的列表：

>>> l = [i for i in range(100000000)] # ~3 sec

创建它需要大约 3 秒（我使用升序而不是相同的值来避免可能的优化）

我们可以看到here，删除运营成本O(n)。但是当我从列表中间删除一个元素时，它会立即返回（与任何其他简单命令一样快，如元素访问）

>>> del l[50000000] # instantly (< 0.1 sec)

在此之后，我可以在删除后不到 3 秒内访问元素 l[25000000] 和 l[75000000]，并且它也会立即执行（因此，我无法通过延迟或后台删除来解释这一点）。

有人可以解释一下，它是如何在内部完成的吗？该列表实际上是作为某种树实现的吗？这听起来很奇怪，而且它违反了constant time element access 的要求。

这是一种常见的优化，如 C++ 中的返回值优化，还是很少见的，仅特定于我的平台/版本？

我使用 Linux 和 Python 3.4.1（Python 2.7.9 显示相同的结果）。

Answer 1

我决定把我的一组 cmets 变成一个正确的答案。

首先，让我们澄清一下你这样做时发生了什么：

>>> l = [i for i in range(100000000)]

这里发生了三件事：

1. 100000000 int 正在创建对象。在 CPython 中创建对象需要分配内存并将内容放入该内存中，这需要时间。
2. 您正在运行一个循环。这会极大地影响性能：[i for i in range(...)] 比 list(range(...)) 慢得多。
3. 正在动态创建大型列表。

阅读您的问题，您似乎只考虑最后一点，而忽略了其他点。因此，您的时间安排不准确：创建一个大列表不需要 3 秒，它只需要这 3 秒的一小部分。

这个分数有多大是一个有趣的问题，仅使用 Python 代码很难回答，但我们仍然可以尝试。具体来说，我会尝试使用以下语句：

>>> [None] * 100000000

这里CPython不必创建大量对象（只有None），不必运行循环，可以为列表分配一次内存（因为它预先知道大小）。

时间不言自明：

$ python3 -m timeit "list(range(100000000))"
10 loops, best of 3: 2.26 sec per loop
$ python3 -m timeit "[None] * 100000000"
10 loops, best of 3: 375 msec per loop

---

现在，回到你的问题：删除项目怎么样？

$ python3 -m timeit --setup "l = [None] * 100000000" "del l[0]"
10 loops, best of 3: 89 msec per loop
$ python3 -m timeit --setup "l = [None] * 100000000" "del l[100000000 // 4]"
10 loops, best of 3: 66.5 msec per loop
$ python3 -m timeit --setup "l = [None] * 100000000" "del l[100000000 // 2]"
10 loops, best of 3: 45.3 msec per loop

这些数字告诉我们一些重要的事情。请注意，2 × 45.3 ≈ 89。还有 66.5 × 4 / 3 ≈ 89。

这些数字准确地说明了线性复杂度的含义。如果一个函数具有时间复杂度kn（即O(n)），这意味着如果我们将输入加倍，我们将加倍时间；如果我们将输入大小增加 4/3，则时间增加 4/3。

这就是这里发生的事情。在 CPython 中，我们的 100000000 项列表是一个包含指向 Python 对象的指针的连续内存区域：

l = |ptr0|ptr1|ptr2|...|ptr99999999|

当我们运行del l[0] 时，我们正在从右向左移动ptr1，覆盖ptr0。其他元素也一样：

l = |ptr0|ptr1|ptr2|...|ptr99999999|
     ^^^^
         ` item to delete

l = |ptr1|ptr2|...|ptr99999999|

因此，当我们运行del l[0] 时，我们必须将 99999998 指针向左移动。这与del l[100000000 // 2] 不同，后者只需要移动一半的指针（前半部分的指针不需要移动）。 “移动一半的指针”等于“执行一半的操作”，大致意思是“运行一半的时间”（这并不总是正确的，但时间表明在这种情况下这是正确的）。

Answer 2

我不确定您为什么认为删除单个元素需要 3 秒。

您的初始时间是 100000000 次单独的追加操作。每一个都需要几分之一秒；您的删除操作需要类似的时间。

无论如何，正如 Bartosz 所指出的，O(n) 复杂度并不意味着所有操作都需要相同的时间长度，而是意味着时间长度与列表的长度成正比。