将 doParallel 与 RMarkdown 一起使用

Question

我正在尝试将 doParallel 与 RMarkdown 一起使用。 R 代码调用一个名为report.RMD 的脚本。目标是从 iris 数据集中生成 3 个 html 报告，每个报告以物种命名，其中的表格被过滤到该物种。 问题是，尽管呈现了报告，但表格并没有被过滤到该物种，例如，virginica.html 文档列出了 versicolor 物种。这似乎是一个并行化问题，因为当 %dopar% 更改为 %do% 时，会按预期生成 html 报告。

更广泛的目标是在比本示例更大的范围内使用 RMarkdown 并行处理，但我仅使用以下示例。

R代码是：

library(doParallel)
library(tidyverse)

iris_list<-c("virginica","versicolor", "setosa")

no_cores <- detectCores() - 1  

cl <- makeCluster(no_cores)  
registerDoParallel(cl)  

foreach(i = 1:length(iris_list), .packages = (.packages())) %dopar% {

cat<-iris_list[i]
iris2<-iris%>%filter(Species==cat)
  
rmarkdown::render("report.RMD",
output_file = paste0(cat, ".html"))
}  

stopCluster(cl)

RMD 代码是：

---
title: "Untitled"
date: "28 September 2021"
output: html_document
---



```{r table, echo=FALSE}
iris2

Answer 1

在这里找到一种方法：https://gist.github.com/hrbrmstr/17bc21af55392f23f012f57bb2fda51c#file-do_rpt-r

library(doParallel)
library(tidyverse)

# Define report parameters
reports <- list(list(out="setosa.html", params=list(sp="setosa")),
             list(out="virginica.html", params=list(sp="virginica")),
             list(out="versicolor.html", params=list(sp="versicolor")))

make_report <- function(r) {
  
  require(rmarkdown)
  
  tf <- tempfile()
  dir.create(tf)
  
  rmarkdown::render(input="report.RMD",
                    output_file=r$out,
                    intermediates_dir=tf,
                    params=r$params,
                    quiet=TRUE)
  unlink(tf)
  
}

no_cores <- detectCores() - 1  
cl <- makeCluster(no_cores)  
registerDoParallel(cl)  

foreach(r=reports, .combine=c) %dopar% make_report(r)

stopCluster(cl)

Rmarkdown 文件：

---
title: "Untitled"
date: "28 September 2021"
output: html_document
params:
  sp: "default"
---

```{r}
data(iris)
iris[iris$Species == params$sp,]

（为 r-chunk 加上三个尾随的`...堆栈格式混乱）。