R - 通过管道连接脚本

Question

我有许多 R 脚本，我想使用 UNIX 风格的管道将它们链接在一起。每个脚本都会将一个数据框作为输入，并提供一个数据框作为输出。例如，我想像这样的东西可以在 R 的批处理模式下运行。

  cat raw-input.Rds | step1.R | step2.R | step3.R | step4.R > result.Rds

对如何做到这一点有任何想法吗？

Answer 1

编写可执行脚本并不是难事，棘手的是如何使脚本从文件和/或管道中读取。我在这里写了一个有点通用的函数：https://stackoverflow.com/a/15785789/1201032

以下是 I/O 采用 csv 文件形式的示例：

您的step?.R 文件应如下所示：

#!/usr/bin/Rscript

OpenRead <- function(arg) {

   if (arg %in% c("-", "/dev/stdin")) {
      file("stdin", open = "r")
   } else if (grepl("^/dev/fd/", arg)) {
      fifo(arg, open = "r")
   } else {
      file(arg, open = "r")
   }
}

args  <- commandArgs(TRUE)
file  <- args[1]
fh.in <- OpenRead(file)

df.in <- read.csv(fh.in)
close(fh.in)

# do something
df.out <- df.in

# print output
write.csv(df.out, file = stdout(), row.names = FALSE, quote = FALSE)

您的 csv 输入文件应如下所示：

col1,col2
a,1
b,2

现在应该可以了：

cat in.csv | ./step1.R - | ./step2.R -

- 很烦人但很有必要。还要确保运行chmod +x ./step?.R 之类的东西以使您的脚本可执行。最后，您可以将它们（并且不带扩展名）存储在您添加到 PATH 的目录中，这样您就可以像这样运行它：

cat in.csv | step1 - | step2 -

Answer 2

当你拥有整个 R 环境可用时，你究竟为什么要将工作流塞进管道中，这超出了我的理解。

创建一个包含以下内容的main.r：

source("step1.r")
source("step2.r")
source("step3.r")
source("step4.r")

就是这样。您不必将每个步骤的输出转换为序列化格式；相反，您可以保留所有 R 对象（数据集、拟合模型、预测值、晶格/ggplot 图形等），为下一步处理做好准备。如果内存有问题，可以在每一步结束时rm任何不需要的对象；或者，每个步骤都可以使用environment，它在完成后删除它，首先将任何需要的对象导出到全局环境。

---

如果需要模块化代码，您可以按如下方式重铸您的工作流程。将每个文件所做的工作封装成一个或多个函数。然后使用适当的参数在您的main.r 中调用这些函数。

source("step1.r")  # defines step1_read_input, step1_f2
source("step2.r")  # defines step2_f2
source("step3.r")  # defines step3_f1, step3_f2, step3_f3
source("step4.r")  # defines step4_write_output

step1_read_input(...)
step1_f2(...)
....
step4write_output(...)

Answer 3

您需要在每个脚本的顶部添加一行以从stdin 读取。通过this answer：

in_data <- readLines(file("stdin"),1)

您还需要将每个脚本的输出写入stdout()。