【发布时间】:2021-09-30 05:36:32
【问题描述】:
“需要专家协助从 R 中的多个栅格中快速提取值”
我正在尝试从栅格中提取点值(经度和纬度)。有数百万个点和数千个以日期(年-月-日)为索引的栅格。对于每个点,将从多个栅格中提取值。要提取的栅格因点而异。图中显示了数据库和栅格的示例。
我在 R 软件中的操作: 我首先在 R 中创建了一个堆栈来存储所有栅格,然后使用两种方法使用循环进行栅格提取:(1)传统循环; (2) 并行化循环
(1) 传统循环
library(raster);library(lubridate)
a<-read.csv("cc_data_preparation.csv",header=T)
a1<-a[,6:7]
###################################################################
folder<-paste0("JS_",c(2015330:2015365,2016001:2016366,2017001:2017365,
2018001:2018365,2019001:2019365),
".tif")
for(i in 1:length(folder)){
z1<-raster(folder[i])
z1[is.na(z1)]<-NA;z1[z1==0]<-NA
plot(z1)
if(i==1){h<-stack(z1)}else(h<-stack(h,z1))
}
#########################################
g<-a[,57:85]
for(i in 1:nrow(a)){
for(j in 1:29){
w<-as.Date(a[i,j+56])#### row 1
k<-ifelse(yday(w)<=9,paste0("00",yday(w)),
ifelse(yday(w)>9 & yday(w) <=99,paste0("0",yday(w)),
yday(w)))
k1<-paste0('JS_',format(w,"%Y"),k)
##############################################################
m<- raster::subset(h, grep(k1, names(h), value = T))
g[i,j]<-extract(m, SpatialPoints(a[i,6:7]),fun="mean")
}}
(2) 并行化循环
library(raster);library(lubridate)
library(doParallel) #Foreach Parallel Adaptor
library(foreach) #Provides foreach looping construct
a<-read.csv("cc_data_preparation.csv",header=T)
a1<-a[,6:7]
###################################################################
folder<-paste0("JS_",c(2015330:2015365,2016001:2016366,2017001:2017365,
2018001:2018365,2019001:2019365),
".tif")
for(i in 1:length(folder)){
z1<-raster(folder[i])
z1[is.na(z1)]<-NA;z1[z1==0]<-NA
plot(z1)
if(i==1){h<-stack(z1)}else(h<-stack(h,z1))
}
#########################################
g<-a[,57:85]
###################################################*****
#Define how many cores you want to use
UseCores <- detectCores() -1
#Register CoreCluster
cl<- makeCluster(UseCores)
registerDoParallel(cl)
###################################################*****
foreach(i=1:nrow(a)) %dopar% {
foreach(j=1:29) %dopar% {
w<-as.Date(a[i,j+56])#### row 1
k<-ifelse(yday(w)<=9,paste0("00",yday(w)),
ifelse(yday(w)>9 & yday(w) <=99,paste0("0",yday(w)),
yday(w)))
k1<-paste0('JS_',format(w,"%Y"),k)
##############################################################
m<- raster::subset(h, grep(k1, names(h), value = T))
g[i,j]<-extract(m, SpatialPoints(a[i,6:7]),fun="mean")
}}
#end cluster
stopCluster(cl)
对于两种方法,上一步的循环等了几天还在运行!!! 有没有人可以帮帮我。几个月来我一直在寻找解决方案。非常感谢任何指导。
【问题讨论】:
-
a的大小是多少? -
names(h)的值是多少?你为什么在'raster::subset'中使用grep?我们不能使用完全匹配吗? -
关于
doParallel,我认为您不应该在另一个foreach中定义一个...
标签: r performance loops raster