【问题标题】:Snail speed for raster extraction looping in R using traditional or Parallelisation method使用传统或并行化方法在 R 中进行光栅提取循环的蜗牛速度
【发布时间】:2021-09-30 05:36:32
【问题描述】:

“需要专家协助从 R 中的多个栅格中快速提取值”

我正在尝试从栅格中提取点值(经度和纬度)。有数百万个点和数千个以日期(年-月-日)为索引的栅格。对于每个点,将从多个栅格中提取值。要提取的栅格因点而异。图中显示了数据库和栅格的示例。

我在 R 软件中的操作: 我首先在 R 中创建了一个堆栈来存储所有栅格,然后使用两种方法使用循环进行栅格提取:(1)传统循环; (2) 并行化循环

(1) 传统循环

library(raster);library(lubridate)
a<-read.csv("cc_data_preparation.csv",header=T)
a1<-a[,6:7]
###################################################################
folder<-paste0("JS_",c(2015330:2015365,2016001:2016366,2017001:2017365,
                   2018001:2018365,2019001:2019365),
           ".tif")
for(i in 1:length(folder)){
  z1<-raster(folder[i])
  z1[is.na(z1)]<-NA;z1[z1==0]<-NA
  plot(z1)
  if(i==1){h<-stack(z1)}else(h<-stack(h,z1))
}
#########################################
g<-a[,57:85]
for(i in 1:nrow(a)){
  for(j in 1:29){
    w<-as.Date(a[i,j+56])#### row 1
    k<-ifelse(yday(w)<=9,paste0("00",yday(w)),
              ifelse(yday(w)>9 & yday(w) <=99,paste0("0",yday(w)),
                     yday(w)))
    k1<-paste0('JS_',format(w,"%Y"),k)
    ##############################################################
    m<- raster::subset(h, grep(k1, names(h), value = T))
    g[i,j]<-extract(m, SpatialPoints(a[i,6:7]),fun="mean")
      }}

(2) 并行化循环

library(raster);library(lubridate)
library(doParallel)  #Foreach Parallel Adaptor 
library(foreach)     #Provides foreach looping construct
a<-read.csv("cc_data_preparation.csv",header=T)
a1<-a[,6:7]
###################################################################
folder<-paste0("JS_",c(2015330:2015365,2016001:2016366,2017001:2017365,
                   2018001:2018365,2019001:2019365),
           ".tif")
for(i in 1:length(folder)){
  z1<-raster(folder[i])
  z1[is.na(z1)]<-NA;z1[z1==0]<-NA
  plot(z1)
  if(i==1){h<-stack(z1)}else(h<-stack(h,z1))
}
#########################################
g<-a[,57:85]
###################################################*****
#Define how many cores you want to use
UseCores <- detectCores() -1
#Register CoreCluster
cl<- makeCluster(UseCores)
registerDoParallel(cl)  
###################################################*****
foreach(i=1:nrow(a)) %dopar% {
   foreach(j=1:29) %dopar% {
        w<-as.Date(a[i,j+56])#### row 1
    k<-ifelse(yday(w)<=9,paste0("00",yday(w)),
              ifelse(yday(w)>9 & yday(w) <=99,paste0("0",yday(w)),
                     yday(w)))
    k1<-paste0('JS_',format(w,"%Y"),k)
##############################################################
m<- raster::subset(h, grep(k1, names(h), value = T))
g[i,j]<-extract(m, SpatialPoints(a[i,6:7]),fun="mean")
      }}

#end cluster
stopCluster(cl)

对于两种方法,上一步的循环等了几天还在运行!!! 有没有人可以帮帮我。几个月来我一直在寻找解决方案。非常感谢任何指导。

【问题讨论】:

  • a 的大小是多少?
  • names(h) 的值是多少?你为什么在'raster::subset'中使用grep?我们不能使用完全匹配吗?
  • 关于doParallel,我认为您不应该在另一个foreach 中定义一个...

标签: r performance loops raster


【解决方案1】:

首先,从第一个循环中删除plot(z1),我想这很慢。

由于您没有提供最小示例,我创建了一些示例/测试数据:

# creating fake data:
w <- as.Date(sample(1:100), origin = "1900-01-01")
a <- lapply(1:29, function(x) as.character(w + x))

# fake raster stack
r <- raster(ncol = 20, nrow = 20)
r[] <- 1:(20*20)
n <- unique(unlist(a))
k <- sprintf("%03d", yday(n))
n <- paste0('JS_', format(w, "%Y"), k)
h <- lapply(1:length(n), function(i) r + i)
h <- stack(h)
names(h) <- n

# fake a
a <- as.data.frame(a)
x <- sapply(1:56, function(x) rep(1L, nrow(a)))
a <- cbind(x, a)
a[, 6] <- a[, 7] <- 1:nrow(a)

改进的第二个循环:

# 2nd loop
nh <- names(h)
sp <- SpatialPoints(a[, 6:7])
g <- sapply(1:29, function(j) {
  w <- as.Date(a[, j + 56])
  k <- sprintf("%03d", yday(w)) # adding leading zeros
  k1 <- paste0('JS_', format(w, "%Y"), k)
  m <- raster::subset(h, k1)
  r <- extract(m, sp)
  r <- diag(r)
  return(r)
})
g

在列上用一个sapply(loop) 替换了多个循环。 删除了grep,因为我认为这不是必需的。如果您的名字不同,或者包含一些扩展名(".tif"?),请尝试在paste0 行上添加/调整它以创建完全匹配。 另外,当您从每一层中提取一个点时,为什么在extract 中指定mean? 首先在原始数据的子集上尝试此操作,这样您就不必等待数天......才能发现某些东西没有按预期工作。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-04-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-17
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多