将参数传递给并行 R 作业

Question

我正在尝试使用 multicore 包运行并行 R 作业。每个作业都是使用不同参数执行相同的script.R。

一般的想法是定义一个接受 args 然后调用 source("script.R") 的函数。问题是我无法将参数传递给script.R。由于我是并行运行的，因此无法在全局范围内定义 args。

欢迎任何帮助。

Answer 1

由于运行并行 R 实例甚至可能在不同的节点/计算机上，使用外部数据库存储参数可能是一个不错的选择。

我会使用redis 作为非常快速和完全的accessible in R，对于并行运行它的兄弟：doredis。

所以你可以有一个 redis 服务器（甚至每个主机上都有一个复制的从属数据库），可以获取参数。您甚至可以从可供所有工作人员使用的 R 外部即时更新参数，并且可以使用 doredis 轻松为任务添加新工作人员。