如何在 Linux 上使用 Ruby 2.0 改善独角兽进程之间的内存共享

Question

Ruby 2.0 引入了一种写时复制友好的垃圾收集器。我的进程似乎没有保持共享内存超过几分钟 - 它似乎从 shared_dirty 到 private_dirty 很快。

其他一些人已经成功地实现了这一点：

• https://gist.github.com/kenn/5105175
• http://marianposaceanu.com/articles/on-ruby-2-0-memory-usage-unicorn-and-heroku

此程序可用于检查 Linux 上的内存统计信息：https://gist.github.com/kenn/5105061

我的独角兽配置：https://gist.github.com/inspire22/f82c77c0a465f1945305

由于某种原因，我的独角兽应用程序（也具有 preload_app=true）的共享内存要少得多。 Ruby 2.0-p195、rails 3.2、linux 2.6.18 (centos)

[root@thorn script]# ruby memstats.rb 4946
Process:             4946
Command Line:        unicorn_rails worker[4] -c /u/apps/newap/current/lib/unicorn.rb -E production -D
Memory Summary:
  private_clean                   0 kB
  private_dirty              56,324 kB
  pss                        60,256 kB
  rss                        83,628 kB
  shared_clean                4,204 kB
  shared_dirty               23,100 kB
  size                      108,156 kB
  swap                           68 kB 

如果我完全关闭主进程（不仅仅是一个 HUP）然后重新启动它并在任何请求排队之前立即检查一个工作进程，我会得到一个更好的故事：

[root@thorn script]# ruby memstats.rb 5743
Process:             5743
Command Line:        unicorn_rails worker[4] -c /u/apps/newap/current/lib/unicorn.rb -E production -D
Memory Summary:
  private_clean                   0 kB
  private_dirty              21,572 kB
  pss                        27,735 kB
  rss                        66,296 kB
  shared_clean                2,484 kB
  shared_dirty               42,240 kB
  size                       91,768 kB
  swap                            0 kB

但在启动后 5 秒内，它们又回到了 ~20MB 的 shared_clean+shared_dirty。

我怀疑交换可能会导致问题，但在降低交换性并确保父进程和子进程都没有被换出（使用 swapstats.rb）之后，问题仍然存在。

我不明白什么是 shared_dirty 内存，以及它是如何变成私有内存的。我也喜欢关于提高共享内存的寿命和数量的建议。谢谢！

Answer 1

根据您可能已经看到的this answer，有一行内容如下：

请注意，“可共享”页面被视为私有映射，直到它 实际上是共享的。即如果当前只有一个进程在使用 libfoo，该库的文本部分将出现在进程的 私有映射。它将计入共享映射（和 从私有进程中删除）仅当/当另一个进程启动时 使用那个库。

为了测试您是否获得了outlined in this article 的好处，我将做的是将一个 10MB 的 xml 文件作为文字字符串直接放入您的源代码中。然后，如果您启动 20 名工作人员，您将能够查看您是否使用了 200MB 的内存，或者仅使用了 10MB，这与新的垃圾收集功能所预期的一样。

更新：

我在查看the unicorn source 并找到了对this wonderful article 的引用。

总而言之，它指出，为了使您的应用程序能够利用 Ruby 企业版的写时复制友好型垃圾收集器，您必须在 fork 之前将 GC.copy_on_write_friendly 设置为 true。

if GC.respond_to?(:copy_on_write_friendly=)
    GC.copy_on_write_friendly = true
end

根据您提供的独角兽配置文件​​，它似乎缺少分配。

另外，我喜欢阅读这些相关文章：

• http://merbist.com/2011/02/22/concurrency-in-ruby-explained/
• http://linux.die.net/man/2/fork
• http://linux.die.net/man/2/clone

根据fork man page：

在 Linux 下，fork() 是使用写时复制页面实现的，所以 它招致的唯一惩罚是时间和内存需要 复制父级的页表，并创建一个独特的任务 孩子的结构。

从 2.3.3 版开始，而不是调用内核的 fork() 系统 调用，作为 NPTL 的一部分提供的 glibc fork() 包装器 线程实现使用提供的标志调用 clone(2) 与传统系统调用的效果相同。 （对 fork() 的调用是 相当于调用 clone(2) 将标志指定为 SIGCHLD。） glibc 包装器调用任何已建立的分叉处理程序 使用 pthread_atfork(3)。

并根据clone man page：

与 fork(2) 不同，这些调用允许子进程共享部分 它与调用进程的执行上下文，例如内存 空间、文件描述符表和信号表 处理程序。

所以，我读这个的意思是：Linux 的 fork copy-on-write，这是 unicorn 实现内存共享所依赖的特性，直到 libc 2.2.3 才实现（请有人纠正我，如果我'这个解释是错误的）。

要检查您运行的是哪个版本的 libc，您可以键入：

ldd --version

或者，找到 glibc 并直接运行它。在我的系统上，它在以下位置找到了该文件：

locate libc.so
/lib/x86_64-linux-gnu/libc.so.6