在用户定义的类中清空 std::vector 时未释放内存答案

【问题标题】：Memory not released when emptying std::vector inside a user-defined class在用户定义的类中清空 std::vector 时未释放内存
【发布时间】：2016-11-09 18:52:19
【问题描述】：

当std::vector 是类的字段时，我们遇到了一些内存问题。我们用大量数据填充这个向量，在程序的某个点需要释放这些数据。但是，即使向量容量为零，内存也没有释放或完全释放。

这里有我们程序的简化版本。如您所见，Foo 类只有一个字段：std::vector<int>。如果我们创建一个std::vector<Foo>并用Foo对象填充它，当我们清空每个对象内部的向量时，内存并没有完全释放。

我们使用活动监视器测量了内存使用情况，您可以在每个日志行旁边看到每个阶段使用的字节数。此外，我们添加了另一个版本，我们不使用类Foo 对象，在这种情况下，内存被完美释放。

#include <iostream>
#include <vector>

class Foo {

public:
    std::vector<int> container;
};

int main() {
    int n1 = 1000;
    int n2 = 100000;
    {
        std::vector<Foo> foos;

        std::cerr << "starting" << std::endl; // 160 KiB
        std::cin.get();

        for (int i = 0; i < n1; i++){
            Foo foo;
            foo.container.assign(n2, 666);
            foos.push_back(foo);
        }

        std::cerr << "foos filled" << std::endl; // 382.1 MiB
        std::cin.get();

        for (unsigned int i = 0; i < foos.size(); i++){
            std::vector<int>().swap(foos[i].container);
        }

        std::cerr << "foos emptied" << std::endl; // 195.7 MiB
        std::cin.get();
    }
    std::cerr << "foos destroyed?" << std::endl; // 296 KiB
    std::cin.get();

    {
        std::vector<std::vector<int> > foos;

        std::cerr << "starting" << std::endl; // 296 KiB
        std::cin.get();

        {
            std::vector<int> aux;
            aux.assign(n2, 666);
            foos.assign(n1, aux);
        }

        std::cerr << "foos filled" << std::endl; // 382.1 MiB
        std::cin.get();

        for (unsigned int i = 0; i < foos.size(); ++i) {
            std::vector<int>().swap(foos[i]);
        }

        std::cerr << "foos emptied" << std::endl; // 708 KiB
        std::cin.get();
    }

    std::cerr << "foos destroyed?" << std::endl; // 708 KiB
    std::cin.get();


    return 0;
}

如果有帮助，我们在 Ubuntu 14.04 64 位下使用 g++ 4.8.4。具体的内存占用根据我们使用的是C++11还是C++98而有所不同，但是两种情况都会出现同样的现象。

关于正在发生的事情以及如何在需要时强制恢复记忆的任何想法？

编辑：请注意，当我们销毁 Foo 类的所有对象时，确实会返回大部分内存，但在我们的实际问题中，我们仍然需要 Foo-analogue 类的其余内容。

【问题讨论】：

你是如何测量的？通常，如果内存在内部被释放，则进程从操作系统获取的任何内存都不会“退回”。
恐怕这是生活的一部分。但它真的会导致问题吗？现代操作系统和 C++ 运行时擅长在真正需要时释放内存。
在应用程序中释放内存不需要将所有内存释放回操作系统，因为操作系统级别的分配可能是更大的块。
内存从运行时 C++/C 库释放到用户空间内存分配器。一般来说，这并不意味着用户空间分配器会将此内存返回给操作系统。用户空间分配器按块从内核分配内存。通过 new/malloc 进一步对您的请求进行切片。当您释放/删除此切片块时，它们将返回给用户空间分配器，而不是内核。并且当用户空间分配器将能够将分配的内存块返回给内核时，只有用户空间分配器才知道。
@user1641854 为什么这只是评论而不是答案？

标签： c++ c++11 memory memory-management vector

【解决方案1】：

内存从运行时 C++/C 库释放到用户空间内存分配器。一般来说，这并不意味着用户空间分配器会将此内存返回给操作系统。用户空间分配器按块从内核分配内存。通过 new/malloc 进一步对您的请求进行切片。当您释放/删除此切片块时，它们将返回给用户空间分配器，而不是内核。而当用户空间分配器能够将分配的内存块返回给内核时，只有用户空间分配器知道。

【讨论】：

可能是这样，但问题是用户空间分配器尚未返回的内存似乎与在类 Foo 下创建的对象绑定。在我们的实际问题中，我们有一个使用几个 GB 的类并且应该返回它们以便其他类可以重用该内存，但其他类最终会接收到新的内存块，我们最终会遇到交换内存。我已更新问题以更好地反映问题。
@rafapages 你使用任何类型的引用计数吗？
@rafapages 在任何情况下 - 您都可以分析您的堆消耗，例如使用名为 massif 的 valgrind 工具。您将能够了解究竟什么对象不会释放内存。或者，如果不是 valgrind massif，您可以编写自己的分配器，跟踪所有分配/解除分配。这不是很难。
问题是我确实知道内存丢失的确切位置......问题是释放它。
如果你想为内核提供特定的内存，你唯一的选择是编写自己的自定义分配器，这将按照@Mike Vine 的建议执行 mmap/munmap。

【解决方案2】：

@user1641854 对为什么会发生这种情况的回答是正确的。这个答案是关于修复它。

有一种相对简单的方法可以解决您的问题。您可以给您的向量一个allocator，它在内部直接向操作系统请求内存，并在释放时直接将其释放回操作系统。这通常是不可取的，因为直接来自操作系统分配的分配/释放通常比设计良好的用户模式堆要慢，并且您会在页面末尾浪费一些内存。此外，如果不付出一些努力，它就不会是跨平台的。

话虽如此，您的案例似乎是一个合理的尝试。

请参阅here 了解如何定义自己的分配器。

然后在 windows 上使用 ::VirtualAlloc/::VirtualFree 或在 linux 上使用 mmap/munmap 用于底层分配/释放功能。

【讨论】：