C++ 绿色线程的堆栈分配

Question

我正在研究 C++ 绿色线程，主要是 boost::coroutine2 和类似的 POSIX 函数，如 makecontext()/swapcontext()，并计划在 boost::coroutine2 之上实现 C++ 绿色线程库。两者都需要用户代码为每个新函数/协程分配一个堆栈。

我的目标平台是 x64/Linux。我希望我的绿色线程库适合一般用途，因此堆栈应根据需要扩展（合理的上限很好，例如 10MB），如果未使用太多内存时堆栈可以收缩（不需要），那就太好了）。我还没有找到合适的算法来分配堆栈。

经过一番谷歌搜索，我自己想出了几个选项：

1. 使用编译器实现的拆分堆栈（gcc -fsplit-stack），但拆分堆栈有性能开销。由于性能原因，Go 已经放弃了拆分堆栈。
2. 用mmap()分配一大块内存希望内核足够聪明，让物理内存保持未分配状态，仅在访问堆栈时分配。在这种情况下，我们受内核的支配。
3. 使用mmap(PROT_NONE) 保留一个大内存空间并设置SIGSEGV 信号处理程序。在信号处理程序中，当SIGSEGV是由堆栈访问引起时（访问的内存在预留的大内存空间内），用mmap(PROT_READ | PROT_WRITE)分配需要的内存。这是这种方法的问题：mmap() 不是异步安全的，不能在信号处理程序中调用。它仍然可以实现，非常棘手：在程序启动期间创建另一个线程用于内存分配，并使用pipe() + read()/write() 将内存分配信息从信号处理程序发送到线程。

关于选项 3 的更多问题：

1. 我不确定这种方法的性能开销，当内存空间由于数千个mmap() 调用而极度碎片化时，内核/CPU 的性能如何？
2. 如果在内核空间中访问未分配的内存，这种方法是否正确？例如何时调用read()？

对于绿色线程的堆栈分配还有其他（更好的）选项吗？在其他实现中如何分配绿色线程堆栈，例如围棋/Java？

Answer 1

glibc 为普通 C 程序分配堆栈的方式是使用专门为此目的设计的以下 mmap 标志来 mmap 一个区域：

   MAP_GROWSDOWN
          Used for stacks.  Indicates to the kernel virtual memory  system
          that the mapping should extend downward in memory.

为了兼容性，您可能也应该使用MAP_STACK。这样你就不用自己写 SIGSEGV 处理程序了，堆栈会自动增长。可以按照此处所述设置边界What does "ulimit -s unlimited" do?

如果你想要一个有界的堆栈大小，这通常是人们想要调用 sigaltstack(2) 时为信号处理程序所做的，只需发出一个普通的 mmap 调用。

Linux 内核总是映射支持虚拟页面的物理页面，在第一次访问页面时捕获页面错误（可能不是在实时内核中，但肯定在所有其他配置中）。有兴趣可以使用/proc/<pid>/pagemap接口（或者我写的这个工具https://github.com/dwks/pagemap）来验证一下。

Answer 2

为什么选择 mmap？当您使用 new（或 malloc）进行分配时，内存不会被触及，也绝对不会被映射。

const int STACK_SIZE = 10 * 1024*1024;
char*p = new char[STACK_SIZE*numThreads];

p 现在有足够的内存用于您想要的线程。当你需要内存时，开始访问 p + STACK_SIZE * i