使用 R data.table 检查一个表 (X) 中的值是否介于另一表 (Y) 的两列中的值之间

Question

可怕的标题问题，但这是我想要达到的目标。对于 Table1，我想添加“BETWEEN”列，验证“POSITION”是否介于 Table2 中相应“BIN”的“START”和“STOP”值之间。

表 1。 BIN 名称（字符）和 BIN 中的 POSITION（数字）：

  BIN    POSITION
    1          12
    1          52
    1          86
    7           6
    7          22
    X         112
    X         139
   MT           3
   MT          26

Table2：BIN 名称（字符）和 START 和 STOP 位置（数字）

  BIN    START    STOP
    1        2      64
    1       90     110
    7       20     100
    7      105     200
    X        1       5
   MT        1    1000

以及想要的结果 - 表 1 带有“BETWEEN”：

CHROM    POSITION      BETWEEN
    1          12         TRUE
    1          52         TRUE
    1          86        FALSE
    7           6        FALSE
    7          22         TRUE
    X         112        FALSE
    X         139        FALSE
   MT           3         TRUE
   MT          26         TRUE

我的表 1 大约有 4,000,000 行，表 2 大约有 500,000 行，我想出的任何东西都很慢。

作为更大表的示例，请使用以下内容：

positions <- seq(1,100000,10)
bins <- c("A","B","C","D","E","F","G","H","I","J")

tab1 <- data.table(bin = rep(bins,1,each=length(positions)), pos = rep(positions,10))

tab2 <- data.table(bin = rep(bins,1,each=2000), start = seq(5,100000,50), stop = start+25)

期望的输出是：

tab1
        bin   pos    between
     1:   A     1    FALSE
     2:   A    11    TRUE
     3:   A    21    TRUE
     4:   A    31    FALSE
     5:   A    41    FALSE

Answer 1

以下方法要求对于给定的 bin，这些 bin 是互斥的。 （例如，您不能有边界为 1-5 的 bin A 和边界为 4-8 的另一个 bin A。）另外，我对您的示例进行了一些修改。

positions <- seq(1,100000,10)
bins <- c("A","B","C","D","E","F","G","H","I","J")
tab1 <- data.table(bin = rep(bins,1,each=length(positions)), pos = rep(positions,10))
setkey(tab1,"bin","pos")

tab2 <- data.table(bin = rep(bins,1,each=2000), start = seq(5,100000,50))
tab2[, end := start+25]

tab2[,pos:=start]
setkey(tab2,"bin","pos")
x<-tab2[tab1, roll=TRUE, nomatch=0]

tab2[,pos:=end]
setkey(tab2,"bin","pos")
y<-tab2[tab1, roll=-Inf, nomatch=0]

setkey(x,"bin","pos","start")
setkey(y,"bin","pos","start")
inBin<-x[y,nomatch=0]
inBin[, between:=TRUE]

setkey(tab1,"bin","pos")
setkey(inBin,"bin","pos")

result<-inBin[,list(bin,pos,between)][tab1]
result[is.na(between), between:=FALSE]

我现在没有时间深入解释我的解决方案。相反，我会采取便宜的方式，并建议您研究 data.table 的roll 参数。上面的基本方法是我加入 tab1 和 tab2，将 pos 向前滚动到最近的边界。然后我加入 tab1 和 tab2，将 pos 向后滚动到最近的起始边界。然后我对这两个集合进行内部连接，给我 tab1 中落在 bin 范围内的所有行。从那时起，这只是繁重的工作。

Answer 2

最直接的方法是嵌套我认为的匹配循环。您可能需要稍微不同地处理因素。如果找不到 bin 匹配项，我还没有测试过会发生什么。

BIN <- c("1","1","1","7","7","X","X","MT","MT")
POSITION <- c(12,52,86,6,22,112,139,3,26)
npos <- length(POSITION)
BETWEEN <- vector(mode="logical",length=npos)
tab1 <- as.data.frame(cbind(BIN,POSITION))

BIN2 <- c("1","1","7","7","X","MT")
START <- c(2,90,20,105,1,1)
STOP <- c(64,110,100,200,5,1000)
tab2 <- as.data.frame(cbind(BIN2,START,STOP))

bins <- unique(tab1$BIN)

for(bin in bins){
  #print(paste("bin=",bin))
  t1.bin.matches <- which(tab1$BIN==bin)
  t2.bin.compares <- which(tab2$BIN2==bin)
  #print(t1.bin.matches)
  #print(t2.bin.compares)
  for(match in t1.bin.matches){
    between = FALSE
    candidate = as.numeric(as.vector(tab1$POSITION)[match])
    for(compare in t2.bin.compares){
      comp.start <- as.numeric(as.vector(tab2$START)[compare])
      comp.stop <- as.numeric(as.vector(tab2$STOP)[compare])
      if(candidate>=comp.start&&candidate<=comp.stop){
        between = TRUE
        break
      }
    }
    #print(paste(comp.start,candidate,comp.stop,between))
    BETWEEN[match] = between
  }
}
tab1 <- as.data.frame(cbind(tab1,BETWEEN))
tab1

Answer 3

确保您的 BIN 列是字符，POSITION、START、END 是数字。

Table1$BIN = as.character(Table1$BIN)
Table1$POSITION = as.numeric(Table1$POSITION)
Table2$BIN = as.character(Table2$BIN)
Table2$START = as.numeric(Table2$START)
Table2$STOP = as.numeric(Table2$STOP)

将您的 data.frame 转换为 library(data.table)，因为下面的代码可能很慢。

Table1 = as.data.table(Table1)
Table2 = as.data.table(Table2)

生成所需的输出

z = apply(Table1, 1, function(x) {nrow(Table2[(as.numeric(x[2])>START) & (as.numeric(x[2])<STOP) & (BIN == as.character(x[1])),])>0})
cbind(Table1, z)

旧函数是 z()，新函数是 y()。使用示例 Table1、Table2，新函数的速度提高了 30%。我不知道随着 nrow 的增加，这种优势将如何扩大，但我猜这种扩大将是非常积极的。告诉我。

z = function(a){apply(Table1, 1, function(x) {z = subset(Table2, Table2$BIN == as.character(x[1])) 
                                                  any(as.numeric(x[2])>z$START & as.numeric(x[2])<z$STOP)})}

y = function(a){apply(Table1, 1, function(x) {nrow(Table2[(as.numeric(x[2])>START) & (as.numeric(x[2])<STOP) & (BIN == as.character(x[1])),])>0})}


microbenchmark(z(), y(), times = 1000L)

 expr      min       lq   median       uq      max neval
  z() 1168.283 1219.793 1237.791 1276.267 3481.576  1000
  y()  809.575  848.052  863.257  885.909 1683.383  1000

编辑：您可能需要在子集中使用 as.numeric 和 as.character。之前创建的data.table丢了，直接用了上面答案的data.frame。