是否可以在linux中分配大量虚拟内存？

Question

为了某些目的，分配大量虚拟空间并仅在访问的页面中分页会很有效。分配大量内存是瞬时的，实际上并不抢页：

char* p = new char[1024*1024*1024*256];

好的，上面指出的错误，因为它是一个 32 位数字。

我希望 new 正在调用调用 sbrk 的 malloc，并且当我访问开始后 4Gb 的位置时，它会尝试将任务内存扩展那么多？

这是完整的程序：

#include <cstdint>
int main() {
  constexpr uint64_t GB = 1ULL << 30;
  char* p = new char[256*GB]; // allocate large block of virtual space
  p[0] = 1;
  p[1000000000] = 1;
  p[2000000000] = 1;
}

现在，当我尝试分配大量时，我得到了 bad_alloc，所以很明显 malloc 不起作用。

我的印象是 mmap 会映射到文件，但由于有人建议我正在研究它。

好的，所以 mmap 似乎支持分配大面积的虚拟内存，但它需要一个文件描述符。创建巨大的内存数据结构可能是一种胜利，但如果它们必须由文件支持，则不是：

以下代码使用 mmap，即使我不喜欢附加到文件的想法。我不知道要在虚拟内存中输入什么数字来请求，所以选择了 0x800000000。 mmap 返回 -1，所以很明显我做错了什么：

#include <cstdint>
#include <unistd.h>
#include <fcntl.h>
#include <sys/mman.h>

int main() {
  constexpr uint64_t GB = 1ULL << 30;
  void *addr = (void*)0x8000000000ULL;
  int fd = creat("garbagefile.dat", 0660);
  char* p = (char*)mmap(addr, 256*GB, PROT_READ|PROT_WRITE, MAP_PRIVATE, fd, 0);
  p[0] = 1;
  p[1000000000] = 1;
  p[2000000000] = 1;
  close(fd);
}

有没有办法分配一大块虚拟内存并稀疏地访问页面，或者这不可行？

Answer 1

linux可以分配大量的虚拟内存吗？

可能。但您可能需要将其配置为允许：

Linux 内核支持以下过量使用处理模式

0 - 启发式过度使用处理。明显的地址过度使用 空间被拒绝。用于典型系统。它确保了一个认真 野分配失败，同时允许过度使用以减少交换 用法。允许 root 在此分配稍微多一点的内存 模式。这是默认设置。

1 - 总是过度使用。适用于一些科学应用。 经典示例是使用稀疏数组的代码并且仅依赖于 虚拟内存几乎完全由零页组成。

2 - 不要过度使用。系统的总地址空间提交 不允许超过交换 + 可配置的数量（默认为 50%) 的物理 RAM。根据您使用的数量，在大多数情况下 这意味着进程在访问时不会被杀死 页面，但会收到适当的内存分配错误。

对于想要保证其内存的应用程序很有用 分配将在未来可用，而无需 初始化每一页。

过量使用策略是通过 sysctl `vm.overcommit_memory' 设置的。

所以，如果你想分配比物理内存更多的虚拟内存，那么你会想要：

# in shell
sysctl -w vm.overcommit_memory=1

RLIMIT_AS 进程的虚拟内存（地址空间）的最大大小，以字节为单位。此限制会影响对 brk(2)、mmap(2) 和 mremap(2) 的调用，这些调用在超过此限制时会失败并返回错误 ENOMEM。自动堆栈扩展也会失败（如果没有通过 sigaltstack(2) 提供可用的备用堆栈，则会生成一个终止进程的 SIGSEGV）。由于该值为 long，因此在具有 32 位长度的机器上，此限制最多为 2 GiB，或者此资源是无限的。

所以，你会想要：

setrlimit(RLIMIT_AS, {
    .rlim_cur = RLIM_INFINITY,
    .rlim_max = RLIM_INFINITY,
});

或者，如果您不能授予进程执行此操作的权限，那么您可以在 /etc/security/limits.conf 中持久配置它，这将影响（用户/组的）所有进程。

---

好的，所以 mmap 似乎支持......但它需要一个文件描述符。 ...可能是一个胜利，但如果它们必须有文件支持，则不会......我不喜欢附加到文件的想法

您不需要使用文件支持的 mmap。这有 MAP_ANONYMOUS。

我不知道要输入什么号码来请求

然后使用null。示例：

mmap(nullptr, 256*GB, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0)

也就是说，如果您按照描述配置了系统，那么new 应该和mmap 一样好用。它可能会使用malloc，而mmap 可能会用于像这样的大型分配。

---

额外提示：您可能会受益于使用HugeTLB Pages。

Answer 2

256*GB 的值不适合 32 位整数类型的范围。尝试将uint64_t 作为GB 的一种类型：

constexpr uint64_t GB = 1024*1024*1024;

或者，强制 64 位乘法：

char* p = new char[256ULL * GB];

---

OT：我更喜欢GB的这个定义：

constexpr uint64_t GB = 1ULL << 30;

---

关于虚拟内存限制，见this answer。