R：快速/并行多列多行查找

Question

我有许多大型（300k - 1M 行）数据帧，我试图通过循环遍历数据帧 (df_i) 来附加值，并且对于每个数据帧，循环遍历行并询问第二个中的值是什么数据框是 (do2) 在匹配的纬度、经度、月份和深度。 Lat/lon/month 将完全匹配，深度比较棘手，因为 do2 有 57 列用于增加深度箱中的值：

我的逐行循环代码的核心是一个 3-ands 行子集和一个列子集：

for (j in 1:nrow(df_i)) {
  df_i[j,"DO2"] <- do2[do2$Latitude == df_i[j,"latbin"] &
                       do2$Longitude == df_i[j,"lonbin"] &
                       do2$Month == month(df_i[j,"DateTimeUTCmin5"]),
                       which.min(abs(depthbins - df_i[j, "Depth.m."])) + 3]
}

这可行，但速度很慢。我知道它可以加快速度，但是我的并行化工作一直在碰壁，而且并行调试/回溯要困难得多。我在阅读this 后尝试了 FBM，但得到了

值必须是唯一的或者是 x[i, j] 的维度

大约有 200k 行。我了解 data.table indexes are fast，所以可能像 Frank's comment here 这样的东西可能会起作用，也许是 data.table 中的多行子集？但大概这与我现有的解决方案是相同的方法（因为我还需要子集/查找列），只是可能更快一点？

有人知道更聪明的方法吗？我以前对 apply 函数感到困惑，但如果那里有什么有用的东西我不会感到惊讶？

提前致谢。

可重现（简化月份，添加深度箱，之前省略）：

depthbins <- c(0,5,10,15,20,25,50,75,100,125,150,200,250,300,350,400)
df_i <- data.frame(latbin = c(-77.5, -78, -78.5),
                   lonbin = c(-178.5, -177.5, -176.5),
                   month = c(1,2,3),
                   Depth.m. = c(130,120,110))
do2 <- tibble(Month = c(1,1,1),
              Latitude = c(-78,-78,-79),
              Longitude = c(-178.5, -177.5, -177.5),
              "0" = c(214, 223, 345),
              "5" = c(123,234,345),
              "10" = c(345,456,567))

最终编辑：对 Marius 代码的一些调整：

do2 %<>% gather(.vars = colnames(do2)[4:length(colnames(do2))],
                key = "depbin", value = "DO2")
do2$depbin <- as.numeric(do2$depbin)
depthbins <- sort(unique(do2$depbin))
df_i$depbin = sapply(df_i$Depth.m., function(d) depthbins[which.min(abs(depthbins - d))])

df_i %<>% left_join(do2, by = c("Month" = "Month",
                                "latbin" = "Latitude",
                                "lonbin" = "Longitude",
                                "depbin" = "depbin")) %>%
          select(-Month, -latbin, -lonbin, -depbin)

Answer 1

我认为通过一些重组，您可以将其作为合并来完成。合并部分应该比你的 for 循环方法快得多，这将被do2 的增加的大小和准备时间稍微抵消。请注意，我不得不稍微修改您的示例数据，以便每一行实际上都有一些要匹配的内容：

depthbins <- c(0,5,10,15,20,25,50,75,100,125,150,200,250,300,350,400)
df_i <- data.frame(latbin = c(-77.5, -78, -78.5),
                   lonbin = c(-178.5, -177.5, -176.5),
                   month = c(1,2,3),
                   Depth.m. = c(130,120,110))
do2 <- tibble(Month = c(1,2,3),
              Latitude = c(-77.5,-78,-78.5),
              Longitude = c(-178.5, -177.5, -176.5),
              "100" = c(214, 223, 345),
              "125" = c(123,234,345),
              "150" = c(345,456,567))


library(tidyverse)
# Precalculate closest bin for each row
df_i$bin = sapply(df_i$Depth.m., function(d) depthbins[which.min(abs(depthbins - d))])

# Convert do2 to long
do2_long = do2 %>%
    gather(bin, DO2, -Month, -Latitude, -Longitude) %>%
    mutate(bin = as.numeric(bin))

# Now everything can just be done as a merge
# The merge syntax would be a bit cleaner if you give the two df's
#   matching column names to start with
df_i %>%
    left_join(do2_long, by = c("month" = "Month", "latbin" = "Latitude", 
                               "lonbin" = "Longitude", "bin" = "bin"))