更快的方法来子集数据表而不是 for 循环 R

Question

我在 R 中有一个数据表（您需要安装数据表包），它使用 X 和 Y 坐标以及来自正态分布和均匀分布的随机数据值生成。坐标代表 2000x1600 阵列上的点，必须分成 16 个较小的“扇区”，每个 500x400。这些部门需要取它们的正态分布平均值，除以均匀分布值的 min^2。我还使用提供的函数 startstop 创建了两个变量 x 和 y，它们具有 16 个扇区的坐标和一个计算每个扇区的数字的函数。

library(data.table)
DT <- data.table(X = rep(1:2000, times = 1600), Y = rep(1:1600, each = 2000), Norm =rnorm(1600*2000), Unif = runif(1600*2000))

sectorCalc <- function(x,y,DT) {
    sector <- numeric(length = 16)
    for (i in 1:length(sector)) {
        sect <- DT[X %between% c(x[[1]][i],x[[2]][i]) & Y %between% c(y[[1]][i],y[[2]][i])]
        sector[i] <- sCalc(sect)
    }
    return(sector)
 }

startstop <- function(width, y = FALSE) {
    startend <- width - (width/4 - 1)
    start <- round(seq(0, startend, length.out = 4))
    stop <- round(seq(width/4, width, length.out = 4))
    if  (length(c(start,stop)[anyDuplicated(c(start,stop))]) != 0) {
        dup <- anyDuplicated(c(start,stop))
        stop[which(stop == c(start,stop)[dup])] <- stop[which(stop == c(start,stop)[dup])] - 1
}
    if (y == TRUE) {
        coord <- list(rep(start, each = 4), rep(stop, each = 4))
  } else if (y == FALSE) {
        coord <- list(rep(start, times = 4), rep(stop, times = 4))
  }
  return(coord)
}

x <- startstop(2000)
y <- startstop(1600, T)

sectorNos <- sectorCalc(x,y,DT)

startstop 函数并不是真正的问题，但我需要一种更快的方法来对数据表进行子集化。必须对“sectorCalc”函数进行一些修改。 for 循环是我能想到的最好方法，但我对数据表没有太多经验。关于更快地分解数据表的方法有什么想法吗？

Answer 1

不仅使用包data.table 还使用cut 函数来构建区间“组”的解决方案：

# Create your test data
library(data.table)

set.seed(123)      # make random numbers reproducible to allow comparison of different answers
DT <- data.table(X = rep(1:2000, times = 1600), Y = rep(1:1600, each = 2000), Norm =rnorm(1600*2000), Unif = runif(1600*2000))

# calculate the sector by cutting the x and y values into groups defined by the interval breaks
DT[, x.sect := cut(DT[, X], c(0, 499, 1000, 1500, 2000), dig.lab=10)] # Intervals should be: seq(0, 2000, by=500) lower bound is less one since it is not included in the interval (see help for cut function)
DT[, y.sect := cut(DT[, Y], c(0, 399, 800, 1200, 1600), dig.lab=10)] # Intervals should be: seq(0, 1600, by=400)

# Now calculate per group (calculation logic "stolen" from the working answer of user "Symbolix"
DT[, .(sect = mean(Norm)/min(Unif)^2), by=.(x.sect, y.sect)]

请注意：我认为第一个和第二个间隔的大小在原始解决方案中是错误的（x 是 499 而不是 500，y 是 399 而不是 400，所以我无法使用seq 函数重现您想要的间隔，但必须手动枚举间隔中断）。

编辑 1：我已将添加 x.sect 和 y.sect 列的原始代码替换为通过引用添加列的改进解决方案 (:=)。

编辑 2：如果您想订购结果，您有（至少）两个选项：

# "Chaining" (output is input of next)
DT[, .(sect = mean(Norm)/min(Unif)^2), by=.(x.sect, y.sect)][order(x.sect, y.sect),]
# Or: Use the "keyby" param instead of "by"
DT[, .(sect = mean(Norm)/min(Unif)^2), keyby=.(x.sect, y.sect)]

编辑 3：在上面的代码中将 dig.lab=10 参数添加到 cut 函数以避免科学记数法的间隔中断。

Answer 2

要替换您的sectorCalc 功能，我认为我们可以使用data.tables 连接

当您循环遍历sector 的每一行时，您只需创建一个data.table 即可加入您的sector 数据， 指定要加入的列（这里我使用key_col），并为每一行指定一个“组”变量，以使我们能够执行 最后的计算：

x <- startstop(2000)
y <- startstop(1600, T)
## copy the original DT
dt <- copy(DT)


dt_xy <- data.table(x_1 = x[[1]],
                    x_2 = x[[2]],
                    y_1 = y[[1]],
                    y_2 = y[[2]])


dt[, key_col := 1]
dt_xy[, `:=`(key_col = 1, xy_grp = seq(1,.N))]

## Use a data.table join, allowing cartesian, then filter out results.
dt_res <- dt[ dt_xy, on="key_col", allow.cartesian=T][x_1 <= X & X <= x_2 & y_1 <= Y & Y <= y_2]

## calculate 'sect' as required.
dt_sect <- dt_res[, .(sect = mean(Norm)/min(Unif)^2)   , by=.(xy_grp)]