R 和用于并行的共享内存::mclapply

Question

我试图通过并行化在大约 1000 个项目的列表上执行的昂贵操作来利用四核机器。

我目前正在使用 R 的 parallel::mclapply 函数：

res = rbind.fill(parallel::mclapply(lst, fun, mc.cores=3, mc.preschedule=T))

哪个有效。问题是，任何额外的子进程都必须分配一大块内存：

理想情况下，我希望每个核心都能从父 R 进程访问共享内存，这样当我增加 mclapply 中使用的核心数量时，我不会在核心限制之前遇到 RAM 限制。

我目前不知道如何调试此问题。每个进程访问的所有大型数据结构都是全局的（当前）。是不是这个问题？

我确实将操作系统的共享内存最大设置增加到 20 GB（可用 RAM）：

$ cat /etc/sysctl.conf 
kern.sysv.shmmax=21474836480
kern.sysv.shmall=5242880
kern.sysv.shmmin=1
kern.sysv.shmmni=32
kern.sysv.shmseg=8
kern.maxprocperuid=512
kern.maxproc=2048

我以为这样可以解决问题，但问题仍然存在。

还有其他想法吗？

Answer 1

Linux和macosx在fork时有copy-on-write机制，这意味着内存的页面实际上并没有被复制，而是在第一次写入之前共享。 mclapply 基于 fork()，因此（除非您写入大共享数据），您看到的进程列表报告的内存可能不是实际内存。

但是，在收集结果时，主进程必须为 mclapply 的每个返回结果分配内存。

为了进一步帮助您，我们需要更多地了解您的fun功能。

Answer 2

我想我会认为这不会因为写时复制功能而使用额外的内存。我认为列表的元素很大？也许当 R 将元素传递给 fun() 时，它实际上是在复制列表项，而不是在写入时使用复制。如果是这样，以下可能会更好：

fun <- function(itemNumber){
  myitem <- lst[[itemNumber]]
  # now do your computations
}
res = rbind.fill(parallel::mclapply(1:length(lst), fun, mc.cores=3, mc.preschedule=T))

或者直接在你的函数中使用lst[[itemNumber]]。如果 R/Linux/macos 不够聪明，无法在您编写函数时使用写时复制，则可以使用这种修改后的方法。

编辑：我假设您没有修改列表中的项目。如果这样做，R 将复制数据。

Answer 3

只是提示可能发生的事情 R-devel Digest, Vol 149, Issue 22

Radford Neal 2015 年 7 月 26 日的回答：

当 mclapply fork 启动一个新进程时，内存最初是 与父进程共享。但是，内存页必须是 每当任何一个进程写入它时复制。不幸的是，R 垃圾收集器写入每个对象以标记和取消标记它 完成了完整的垃圾收集，因此很可能每个 R 对象将在每个进程中重复，即使其中很多 实际上并没有改变（从 R 程序的角度来看）。