循环遍历 data.table 并根据某些条件创建新列

Question

我有一个包含很多列的 data.table。我需要遍历它们并使用某些条件创建新列。目前我正在为每一列编写单独的条件行。让我用一个例子来解释。让我们将样本数据视为 -

set.seed(71)

DT <- data.table(town = rep(c('A','B'), each=10),
                 tc = rep(c('C','D'), 10),
                 one = rnorm(20,1,1),
                 two = rnorm(20,2,1),
                 three = rnorm(20,3,1),
                 four = rnorm(20,4,1),
                 five = rnorm(20,5,2),
                 six = rnorm(20,6,2),
                 seven = rnorm(20,7,2),
                 total = rnorm(20,28,3))

对于从 1 到总计的每一列，我需要创建 4 个新列，即 mean、sd、uplimit、lowlimit 用于 2 sigma 异常值计算。我正在这样做 -

DTnew <- DT[, as.list(unlist(lapply(.SD, function(x) list(mean = mean(x), sd = sd(x), uplimit = mean(x)+1.96*sd(x), lowlimit = mean(x)-1.96*sd(x))))), by = .(town,tc)]

然后我将把这个 DTnew data.table 与我的 DT 合并

DTmerge <- merge(DT, DTnew, by= c('town','tc'))

现在想出异常值，我正在为每个变量编写单独的代码集 -

DTAoutlier <- DTmerge[ ,one.Aoutlier := ifelse (one >= one.lowlimit & one <= one.uplimit,0,1)]
DTAoutlier <- DTmerge[ ,two.Aoutlier := ifelse (two >= two.lowlimit & two <= two.uplimit,0,1)]
DTAoutlier <- DTmerge[ ,three.Aoutlier := ifelse (three >= three.lowlimit & three <= three.uplimit,0,1)]

有人可以帮助简化这段代码，以便

1. 我不必为异常值编写单独的代码行。在这个例子中，我们只有 8 个变量，但是如果我们有 100 个变量，我们最终会写 100 行代码吗？这可以使用 for 循环来完成吗？怎么样？

2. 一般而言，对于 data.table，我们如何添加保留原始列的新列。例如，下面我记录第 3 到第 10 列。如果我不创建新的 DTlog，它会覆盖 DT 中的原始列。如何在 DT 中保留原始列并在 DT 中保留新列。

   DTlog <- DT[,(lapply(.SD,log)),by = .(town,tc),.SDcols=3:10]

期待一些专家的建议。

Answer 1

我们可以使用:= 做到这一点。我们对不是分组变量（'nm'）的列名进行子集化。使用outer ('nm1') 创建一个vector 的名称以分配给新列。然后，我们使用 OP 的代码 unlist 输出并将 (:=) 分配给 'nm1' 以创建新列。

nm <- names(DT)[-(1:2)]

nm1 <- c(t(outer(c("Mean", "SD", "uplimit", "lowlimit"), nm, paste, sep="_")))

DT[, (nm1):= unlist(lapply(.SD, function(x) { Mean = mean(x)
                                  SD = sd(x)
                     uplimit = Mean + 1.96*SD
                     lowlimit = Mean - 1.96*SD
             list(Mean, SD, uplimit, lowlimit) }), recursive=FALSE) ,
                    .(town, tc)]

问题的第二部分涉及在列之间进行逻辑比较。一种选择是将初始列、'lowlimit' 和 'uplimit' 列分别子集化并进行比较（因为它们具有相同的维度）以获得可以使用+ 强制转换为二进制的逻辑输出。然后将其分配给原始数据集以创建异常值列。

m1 <- +(DT[, nm, with = FALSE] >= DT[, paste("lowlimit", nm, sep="_"), 
          with = FALSE] & DT[, nm, with = FALSE] <= DT[, 
            paste("uplimit", nm, sep="_"), with = FALSE])
DT[,paste(nm, "Aoutlier", sep=".") := as.data.frame(m1)]

或者除了比较data.tables，我们还可以使用for循环和set（这样会更有效）

nm2 <- paste(nm, "Aoutlier", sep=".")
DT[, (nm2) := NA_integer_]
for(j in nm){
 set(DT, i = NULL, j = paste(j, "Aoutlier", sep="."), 
   value = as.integer(DT[[j]] >= DT[[paste("lowlimit", j, sep="_")]] & 
           DT[[j]] <= DT[[paste("uplimit", j, sep="_")]]))
 }

“日志”列也可以用:=创建

DT[,paste(nm, "log", sep=".") := lapply(.SD,log),by = .(town,tc),.SDcols=nm]

Answer 2

您的数据可能应该是长格式：

m = melt(DT, id=c("town","tc"))

然后只需编写一次测试

m[, 
  is_outlier := +(abs(value-mean(value)) > 1.96*sd(value))
, by=.(town, tc, variable)]

我在这个数据中没有看到异常值（根据给定的异常值定义）：

m[, .N, by=is_outlier] # this is a handy alternative to table()

#    is_outlier   N
# 1:          0 160

它是如何工作的

• melt 保留 id 列并将其余所有列堆叠到
  • variable（列名）
  • value（栏目内容）
• +x 与 as.integer(x) 做同样的事情，将 TRUE/FALSE 强制为 1/0

---

如果您真的喜欢宽格式的数据，那么：

vjs = setdiff(names(DT), c("town","tc"))
DT[, 
  paste0(vjs,".out") := lapply(.SD, function(x) +(abs(x-mean(x)) > 1.96*sd(x)))
, by=.(town, tc), .SDcols=vjs]

Answer 3

为了完整起见，应该注意dplyr 的mutate_each 提供了解决此类问题的便捷方法：

library(dplyr)

result <- DT %>%
    group_by(town,tc) %>%
    mutate_each(funs(mean,sd,
                     uplimit = (mean(.) + 1.96*sd(.)),
                     lowlimit = (mean(.) - 1.96*sd(.)),
                     Aoutlier = as.integer(. >= mean(.) - 1.96*sd(.) &
                                               . <= mean(.) - 1.96*sd(.))),
                -town,-tc)