限制程序的可用内存

Question

我正在对一个使用系统中所有可用内存的多线程程序进行性能分析。我的操作系统是 Ubuntu 18.04。我试图将可用内存限制为例如 32GB，即使我的服务器可能有 128GB 可用内存。 一直没有找到可靠的解决方案。似乎ulimit 并不完全符合我的要求。 我还可以通过另一个进程阻塞内存（例如，一个将消耗 64GB RAM 的可控进程）。但即使出于这个目的，我也不确定如何可靠地阻塞内存。

非常感谢您的想法。

Answer 1

cgroups 是现代 linux 内核的功能，它允许您限制资源，例如用于进程组（或具有线程的单个进程）的内存。更多关于 cgroups 的信息：https://en.wikipedia.org/wiki/Cgroupshttps://man7.org/linux/man-pages/man7/cgroups.7.html

您的 ubuntu 18.04 内核中应该已经启用了 cgroups 功能。有一些描述如何使用 cgroups 来限制内存：

• 对于 systemd 托管服务：https://www.paranoids.at/cgroup-ubuntu-18-04-howto/，
• 用于码头集装箱docker run --memory=1G ….
• 对于带有cgcreate/cgset/cgexeccommands:https://dev.to/vga/how-to-see-and-limit-memory-consumption-of-an-application-5bfl 之类的自定义流程树

# Create a group for memory named “limited_group_1”
cgcreate -g "memory:limited_group_1" -t USERNAME:GROUPNAME

# Specify memory limit to 1G for this group
cgset -r memory.limit_in_bytes=1G "limited_group_1"

# Launch the application in this group
cgexec -g "memory:limited_group_1" ./YOUR_APPLICATION

# If needed, we can remove the group
cgdelete "memory:limited_group_1"

https://unix.stackexchange.com/questions/44985/limit-memory-usage-for-a-single-linux-process/279175#279175 也在https://dev.to/vga/how-to-see-and-limit-memory-consumption-of-an-application-5bfl 中被提及

PS：旧 glibc 版本（malloc、new）中的默认内存分配器对于已释放区域的行为很糟糕：如果没有定期的 malloc_trim() 库调用，它们不会返回。您应该尝试将您的应用程序与 libjemalloc 或 libtcmalloc 链接，这将用一些更好的内存返回代码替换 glibc 的 malloc 实现。

Answer 2

ulimit 将限制进程内存，而不是系统内存。

如果您想准确模拟较小的机器，请在启动时将 mem=32G 添加到内核命令行。