【问题标题】:converting nested for loop to foreach将嵌套的 for 循环转换为 foreach
【发布时间】:2020-11-26 06:18:59
【问题描述】:

我正在尝试将嵌套的 for 循环转换为 foreach,以便我可以使用并行处理。此循环根据向量列表从 netCDF 文件中提取信息,这些向量指定要提取的 netCDF 中元素的位置。这是我的例子:

加载必要的包

# devtools::install_github("BigelowLab/fvcom", force = T)

library(fvcom)
library(ncdf4)
library(raster)
library(rgdal)

我已将 netCDF 文件保存到硬盘驱动器,但它们可在此处获得:https://www.glerl.noaa.gov/data/chrp/Rowe_etal_2019_data/20170530-2/ 在本示例中,我使用了此页面上的前 3 个文件。

setwd("D:/FADR81 netCDF files/example for parallel processing")

file_list <- list.files(pattern = "*.nc")

创建一个向量列表,指示我想从每个 netCDF 文件中提取的元素的位置。这些是在这里任意分配的,但实际上与另一个数据集的观察结果一致。

k1 <- 1:10
k2 <- c(1:5, 12:20, 45:51)
k3 <- 200:213

keep <- list(k1, k2, k3)

运行循环以提取时间并创建温度和溶解氧栅格。

system.time({

  times.all <- character(length(keep[[1]]))
  temp.all <- list()
  do.all <- list ()

  for(i in 1:length(keep)) {
    nc <- nc_open(file_list[[i]])
    mesh <- get_mesh_geometry(nc, what = 'lonlat')
    times <- character(length = length(keep[[i]]))
    temp <- list()
    do <- list()

    for(j in 1:length(keep[[i]])) {
      times[j] <- as.character(as.POSIXct(ncvar_get(nc, "Times", start=c(1, keep[[i]][j]), count=c(-1, 1)),
                                      format = "%Y-%m-%dT%H:%M:%S", tz = "UTC"))
  
      temp[[j]] <- get_mesh(nc, vars = "temp", mesh = mesh, time = keep[[i]][j], y = 20)
      temp[[j]] <- raster::stack(sapply('temp', function(f) fvcom::rasterize(temp[[j]], field = f), simplify = FALSE))
  
      do[[j]] <- get_mesh(nc, vars = "Dissolved_oxygen", mesh = mesh, time = keep[[i]][j], y = 20)
      do[[j]] <- raster::stack(sapply('Dissolved_oxygen', function(f) fvcom::rasterize(do[[j]], field = f), simplify = FALSE))
  
    }

    nc_close(nc)

    times.all <- c(times.all, times)
    temp.all <- c(temp.all, temp)
    do.all <- c(do.all, do)

  }

  times.all2 <- times.all[-which(times.all == '')]

})

我需要遍历数百个 netCDF 文件并从每个文件中提取不同的元素。我希望我可以使用 foreach 来并行化这个循环并提高处理速度,但我没有太多运气弄清楚如何做到这一点。非常感谢任何帮助。

【问题讨论】:

  • 也许可以查看 lapply 函数以更快地循环
  • 如果要使用foreach,需要了解lapply。 foreach 循环更类似于lapply 循环而不是for 循环。你研究过foreach package vignette吗?
  • @RAB lapply 通常不会比编写良好的 for 循环快。由于 JIT 字节码编译,它甚至可能更慢。
  • 在我看来,首先要简化工作流程----这可能是您可以节省最多时间的地方。但是您没有提供可重复的示例,因此很难提供帮助。
  • 我已经查看了 foreach 小插图和其他材料,但也许我需要进一步备份并尝试先使用 lapply 解决这个问题。

标签: r loops foreach parallel-processing


【解决方案1】:

按照 Roland 的建议,我更仔细地查看了 apply 函数,并且能够将我的 for 循环重写为一个函数并使用 mapply() 来复制我之前的结果。从那里,很容易过渡到并行包中的 mcmapply()。这是我的函数和我用来运行它的代码,使用 mcmapply() 使用 file_list 并保留原始问题。

get_dat <- function(x, z){
  nc <- nc_open(x)
  times <- as.character(as.POSIXct(ncvar_get(nc, "Times"), format = "%Y-%m-%dT%H:%M:%S", tz = "UTC"))
  times2 <- times[z]

  mesh <- get_mesh_geometry(nc, what = 'lonlat')
  temp <- list()
  do <- list()

  for(i in 1:length(z)) {

    temp[[i]] <- get_mesh(nc, vars = "temp", mesh = mesh, time = z[[i]], y = 20)
    temp[[i]] <- raster::stack(sapply('temp', function(f) fvcom::rasterize(temp[[i]], field = f), simplify = FALSE))

    do[[i]] <- get_mesh(nc, vars = "Dissolved_oxygen", mesh = mesh, time = z[[i]], y = 20)
    do[[i]] <- raster::stack(sapply('Dissolved_oxygen', function(f) fvcom::rasterize(do[[i]], field = f), simplify = FALSE))

  }


  nc_close(nc)

  exp.dat <- list(times2, temp, do)

  return(exp.dat)
}



system.time({

  new.dat <- mcmapply(get_dat, file_list, keep, mc.cores = 3)

  new.time <- list()
  new.temp <- list()
  new.do <- list()

  for(i in 1:length(file_list)){
    new.time[[i]] <- new.dat[1, i]
    new.temp[[i]] <- new.dat[2, i]
    new.do[[i]] <- new.dat[3, i]

  }

  new.time2 <- unlist(new.time, use.names = F)
  new.temp2 <- unlist(new.temp, use.names = F)
  new.do2 <- unlist(new.do, use.names = F)

})

您可以通过从原始问题中提供的链接下载 netCDF 文件来重现此示例。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-06-07
    • 2019-11-22
    • 2021-03-12
    • 1970-01-01
    • 2012-11-06
    • 1970-01-01
    • 2017-08-08
    • 2021-09-16
    相关资源
    最近更新 更多