【发布时间】:2020-11-26 06:18:59
【问题描述】:
我正在尝试将嵌套的 for 循环转换为 foreach,以便我可以使用并行处理。此循环根据向量列表从 netCDF 文件中提取信息,这些向量指定要提取的 netCDF 中元素的位置。这是我的例子:
加载必要的包
# devtools::install_github("BigelowLab/fvcom", force = T)
library(fvcom)
library(ncdf4)
library(raster)
library(rgdal)
我已将 netCDF 文件保存到硬盘驱动器,但它们可在此处获得:https://www.glerl.noaa.gov/data/chrp/Rowe_etal_2019_data/20170530-2/ 在本示例中,我使用了此页面上的前 3 个文件。
setwd("D:/FADR81 netCDF files/example for parallel processing")
file_list <- list.files(pattern = "*.nc")
创建一个向量列表,指示我想从每个 netCDF 文件中提取的元素的位置。这些是在这里任意分配的,但实际上与另一个数据集的观察结果一致。
k1 <- 1:10
k2 <- c(1:5, 12:20, 45:51)
k3 <- 200:213
keep <- list(k1, k2, k3)
运行循环以提取时间并创建温度和溶解氧栅格。
system.time({
times.all <- character(length(keep[[1]]))
temp.all <- list()
do.all <- list ()
for(i in 1:length(keep)) {
nc <- nc_open(file_list[[i]])
mesh <- get_mesh_geometry(nc, what = 'lonlat')
times <- character(length = length(keep[[i]]))
temp <- list()
do <- list()
for(j in 1:length(keep[[i]])) {
times[j] <- as.character(as.POSIXct(ncvar_get(nc, "Times", start=c(1, keep[[i]][j]), count=c(-1, 1)),
format = "%Y-%m-%dT%H:%M:%S", tz = "UTC"))
temp[[j]] <- get_mesh(nc, vars = "temp", mesh = mesh, time = keep[[i]][j], y = 20)
temp[[j]] <- raster::stack(sapply('temp', function(f) fvcom::rasterize(temp[[j]], field = f), simplify = FALSE))
do[[j]] <- get_mesh(nc, vars = "Dissolved_oxygen", mesh = mesh, time = keep[[i]][j], y = 20)
do[[j]] <- raster::stack(sapply('Dissolved_oxygen', function(f) fvcom::rasterize(do[[j]], field = f), simplify = FALSE))
}
nc_close(nc)
times.all <- c(times.all, times)
temp.all <- c(temp.all, temp)
do.all <- c(do.all, do)
}
times.all2 <- times.all[-which(times.all == '')]
})
我需要遍历数百个 netCDF 文件并从每个文件中提取不同的元素。我希望我可以使用 foreach 来并行化这个循环并提高处理速度,但我没有太多运气弄清楚如何做到这一点。非常感谢任何帮助。
【问题讨论】:
-
也许可以查看 lapply 函数以更快地循环
-
如果要使用
foreach,需要了解lapply。foreach循环更类似于lapply循环而不是for循环。你研究过foreachpackage vignette吗? -
@RAB
lapply通常不会比编写良好的for循环快。由于 JIT 字节码编译,它甚至可能更慢。 -
在我看来,首先要简化工作流程----这可能是您可以节省最多时间的地方。但是您没有提供可重复的示例,因此很难提供帮助。
-
我已经查看了 foreach 小插图和其他材料,但也许我需要进一步备份并尝试先使用 lapply 解决这个问题。
标签: r loops foreach parallel-processing