堆上的内存如何耗尽？

Question

我一直在测试我自己的一些代码，以查看耗尽堆或空闲存储上的内存需要多少分配的内存。但是，除非我的代码在测试中是错误的，否则我会在堆上放置多少内存方面得到完全不同的结果。

我正在测试两个不同的程序。第一个程序在堆上创建向量对象。第二个程序在堆上创建整数对象。

这是我的代码：

#include <vector>
#include <stdio.h>

int main()
{
    long long unsigned bytes = 0;
    unsigned megabytes = 0;

    for (long long unsigned i = 0; ; i++) {

        std::vector<int>* pt1 = new std::vector<int>(100000,10);

        bytes += sizeof(*pt1);
        bytes += pt1->size() * sizeof(pt1->at(0));
        megabytes = bytes / 1000000;

        if (i >= 1000 && i % 1000 == 0) {
            printf("There are %d megabytes on the heap\n", megabytes);
        }

    }
}

在收到bad_alloc 错误之前这段代码的最终输出是：“堆上有 2000 兆字节”

在第二个程序中：

#include <stdio.h>

int main()
{
        long long unsigned bytes = 0;
        unsigned megabytes = 0;

        for (long long unsigned i = 0; ; i++) {

           int* pt1 = new int(10);

           bytes += sizeof(*pt1);
           megabytes = bytes / 1000000;

           if (i >= 100000 && i % 100000 == 0) {
              printf("There are %d megabytes on the heap\n", megabytes);
        }

    }
}

此代码在收到bad_alloc 错误之前的最终输出是：“堆上有 511 兆字节”

两个程序的最终输出大不相同。我对免费商店有什么误解吗？我认为这两个结果会差不多。

Answer 1

首先，您必须了解操作系统分配内存以处理称为页面的相当大的内存块（这是硬件属性）。页面大小约为 4 -16 kB。

现在标准库尝试以有效的方式使用内存。因此，它必须找到一种方法将页面分割成更小的部分并进行管理。为此，必须维护一些有关堆结构的额外信息。

这很酷Andrei Alexandrescu cppcon talk 或多或少是如何工作的（它省略了有关页面管理的信息）。

因此，当您分配大量小对象时，有关堆结构的信息非常大。另一方面，如果您分配较少数量的较大对象，则效率更高 - 跟踪内存结构时占用的内存更少。

另请注意，有时根据堆策略（当请求一小块内存时），浪费一些内存并返回比请求更大的内存更有效。

Answer 2

很有可能pointers returned by new on your platform are 16-byte aligned。

如果 int 是 4 字节，这意味着对于每个 new int(10)，您将获得 4 个字节并使 12 个字节不可用。

仅此一项就可以解释从小分配获得 500MB 可用空间与从大分配获得 2000MB 之间的区别。

最重要的是，跟踪分配的块（至少是它们的大小以及它们是空闲的还是正在使用的）会产生开销。这非常特定于系统的内存分配器，但也会产生每次分配的开销。有关glibc 分配器的说明，请参阅https://sourceware.org/glibc/wiki/MallocInternals 中的“什么是块”。