在 R 中使用 foreach 循环读取 MATLAB .mat 文件时出现问题

Question

我有一千多个 matlab 文件要读入 R。我使用 R.matlab 包来读取它们，我想并行操作。

但是，一旦我调用循环（我从所有 .mat 文件生成单个数据集）我得到一个错误：

{ 中的错误：任务 1 失败 - “不可能遇到函数 "readMat""

（我翻译了“”之间的错误部分，因为我的R不是英文的）

没有 foreach 命令，一切都很好，但时间太长了。这是代码

library(R.matlab)
library(plyr)
library(foreach)
library(doParallel)

a = list.files()
data <- readMat(a[1])

for(j in 2:length(a))  {

  data1 <- readMat(a[j])

  if (is.null(data1)==FALSE) {
      data <- rbind.fill(data,data1)
  }}
  print(j)
}

使用 foreach 命令我得到了上述错误。代码如下：

    library(R.matlab)
    library(plyr)
    library(foreach)
    library(doParallel)


cl<-makeCluster(8)
registerDoParallel(cl)

    a = list.files()
    data <- readMat(a[1])

    foreach(j = 2:length(a)) %dopar% {

      data1 <- readMat(a[j])

      if (is.null(data1)==FALSE) {
          data <- rbind.fill(data,data1)
      }}
      print(j)
    }

是不是说foreach和readMat不能一起用？

Answer 1

如果有人想知道，我忘了将R.matlab 导出到每个集群节点。只需在foreach 调用中添加.packages 参数

library(R.matlab)
library(plyr)
library(foreach)
library(doParallel)


cl<-makeCluster(8)
registerDoParallel(cl)

a    <- list.files()
data <- readMat(a[1])

foreach(j = 2:length(a), .packages = c("plyr", "doParallel",
                                       "R.matlab")) %dopar% {

  data1 <- readMat(a[j])

  if (!is.null(data1)) {
      data <- rbind.fill(data,data1)
  }

}