为什么两个相同的列表有不同的内存占用？

Question

我创建了两个列表l1 和l2，但每个列表都有不同的创建方法：

import sys

l1 = [None] * 10
l2 = [None for _ in range(10)]

print('Size of l1 =', sys.getsizeof(l1))
print('Size of l2 =', sys.getsizeof(l2))

但输出让我感到惊讶：

Size of l1 = 144
Size of l2 = 192

使用列表推导式创建的列表在内存中的大小更大，但两个列表在 Python 中是相同的。

这是为什么呢？这是 CPython 内部的东西，还是其他解释？

Answer 1

当您编写 [None] * 10 时，Python 知道它需要一个正好包含 10 个对象的列表，因此它会准确分配该列表。

当您使用列表推导式时，Python 不知道它需要多少。因此，随着元素的添加，它会逐渐增加列表。对于每次重新分配，它分配的空间比立即需要的空间多，因此它不必为每个元素重新分配。结果列表可能比需要的要大。

在比较大小相似的列表时，您会看到这种行为：

>>> sys.getsizeof([None]*15)
184
>>> sys.getsizeof([None]*16)
192
>>> sys.getsizeof([None for _ in range(15)])
192
>>> sys.getsizeof([None for _ in range(16)])
192
>>> sys.getsizeof([None for _ in range(17)])
264

您可以看到第一种方法只分配所需的内容，而第二种方法会定期增长。在这个例子中，它为 16 个元素分配了足够的空间，并且在到达第 17 个元素时必须重新分配。

Answer 2

如this question 中所述，list-comprehension 在后台使用list.append，因此它将调用 list-resize 方法，该方法会过度分配。

为了向自己演示这一点，您实际上可以使用dis dissasembler：

>>> code = compile('[x for x in iterable]', '', 'eval')
>>> import dis
>>> dis.dis(code)
  1           0 LOAD_CONST               0 (<code object <listcomp> at 0x10560b810, file "", line 1>)
              2 LOAD_CONST               1 ('<listcomp>')
              4 MAKE_FUNCTION            0
              6 LOAD_NAME                0 (iterable)
              8 GET_ITER
             10 CALL_FUNCTION            1
             12 RETURN_VALUE

Disassembly of <code object <listcomp> at 0x10560b810, file "", line 1>:
  1           0 BUILD_LIST               0
              2 LOAD_FAST                0 (.0)
        >>    4 FOR_ITER                 8 (to 14)
              6 STORE_FAST               1 (x)
              8 LOAD_FAST                1 (x)
             10 LIST_APPEND              2
             12 JUMP_ABSOLUTE            4
        >>   14 RETURN_VALUE
>>>

注意<listcomp> 代码对象的反汇编中的LIST_APPEND 操作码。来自docs：

LIST_APPEND(i)

致电list.append(TOS[-i], TOS)。用于实现列表推导。

现在，对于 list-repetition 操作，如果我们考虑一下，我们就会知道发生了什么：

>>> import sys
>>> sys.getsizeof([])
64
>>> 8*10
80
>>> 64 + 80
144
>>> sys.getsizeof([None]*10)
144

所以，它似乎能够准确地分配大小。查看source code，我们看到这正是发生的情况：

static PyObject *
list_repeat(PyListObject *a, Py_ssize_t n)
{
    Py_ssize_t i, j;
    Py_ssize_t size;
    PyListObject *np;
    PyObject **p, **items;
    PyObject *elem;
    if (n < 0)
        n = 0;
    if (n > 0 && Py_SIZE(a) > PY_SSIZE_T_MAX / n)
        return PyErr_NoMemory();
    size = Py_SIZE(a) * n;
    if (size == 0)
        return PyList_New(0);
    np = (PyListObject *) PyList_New(size);

即，这里：size = Py_SIZE(a) * n;。其余的函数只是简单地填充数组。

Answer 3

None 是内存块，但不是预先指定的大小。除此之外，数组元素之间的数组中还有一些额外的间距。您可以通过运行自己查看：

for ele in l2:
    print(sys.getsizeof(ele))

>>>>16
16
16
16
16
16
16
16
16
16

这不是 l2 的总和，而是更小。

print(sys.getsizeof([None]))
72

而且这比l1 大小的十分之一大得多。

您的数字应根据操作系统的详细信息和操作系统中当前内存使用情况的详细信息而有所不同。 [None] 的大小永远不能大于设置为存储变量的可用相邻内存，并且如果稍后动态分配更大的变量，则可能必须移动该变量。