巨大的 std::vector<std::vector> 不会在销毁时释放所有内存 [重复]

Question

当使用一个非常大的向量向量时，我们发现部分内存没有被释放。

#include <iostream>
#include <vector>
#include <unistd.h>

void foo()
{
    std::vector<std::vector<unsigned int> > voxelToPixel;
    unsigned int numElem = 1<<27;
    voxelToPixel.resize( numElem );

    for (unsigned int idx=0; idx < numElem; idx++)
        voxelToPixel.at(idx).push_back(idx);

}

int main()
{
    foo();
    std::cout << "End" << std::endl;
    sleep(30);
    return 0;
}

这会留下大约 4GB 的内存，直到进程结束。

如果我们将for 行更改为

for (unsigned int idx=0; idx < numElem; idx++)
    voxelToPixel.at(0).push_back(idx);

内存被释放。

在 linux 机器上使用 gcc-4.8。我们使用htop 来跟踪具有 100 GB RAM 的计算机上的内存使用情况。您将需要大约 8 GB 的 RAM 来运行代码。你能重现这个问题吗？关于为什么会发生这种情况的任何想法？

编辑： 我们已经看到这在 Mac 中不会发生（gcc 或 clang）。此外，在 linux 中，如果我们调用 foo 两次（但第三次再次发生），内存就会被释放。

Answer 1

小分配（我认为默认最大为 128kb）由进程内堆管理，并且在释放时不会返回给操作系统；它们被返回到堆中以在进程中重用。较大的分配直接来自操作系统（通过调用mmap），并在解除分配时返回给操作系统。

在您的第一个示例中，每个向量只需要为单个int 分配足够的空间。你有一亿个小分配，没有一个会返回给操作系统。

在第二个示例中，随着向量的增长，它将进行许多不同大小的分配。有些小于mmap 阈值，这些将保留在进程内存中；但是，由于您只对一个向量执行此操作，因此数量不会很大。如果您在填充之前使用resize 或reserve 为每个向量分配所有内存，那么您应该会发现所有内存都返回给了操作系统。