data.table 中列系列的逐行第一次/最后一次出现

Question

作为这个老歌但好人的后续行动：efficient row-wise operations on a data.table

我有一些数据（不幸的是）看起来像：

library('data.table')
set.seed(1234)
m <- 5
n <- 7
rb <- function() runif(m,1000,2000) * rbinom(m,1,0.5)   
series_col_nms <- paste0('YearNo',1:n)    
rev <- data.table(cust_id = paste0('CustNo',1:m), 
                other_stuff = sample(letters,m, replace=TRUE))
for(col in series_col_nms){
  set(rev, j=col, value=rb())
}
setkey(rev, cust_id)

每个客户一行，包含不同列，包括第 1 年、第 2 年、...的年收入

我想获取每个客户的任何收入的第一年和最后一年的年度指数。

我可以产生想要的结果，但加入有点麻烦：

years_active <- rev[, which(.SD>0), .SDcols = series_col_nms, 
                    keyby=cust_id][, .(min_year_active = min(V1),
                                       max_year_active = max(V1)), keyby=cust_id]
years_active[rev]

这些获取最小索引的尝试失败：

rev[, apply(.SD, 1, function(x) min(which(x>0))), .SDcols=series_col_nms, by=cust_id] # returns data type error    
rev[, do.call(pmin, lapply(.SD, function(x) which(x>0))), .SDcols=series_col_nms, by=cust_id] # returns empty

data.table 的方法是什么？

Answer 1

当你想逐行对多列进行操作时，通常的做法是先melt你的数据集，然后对单个列进行操作。

在你的情况下，一个相对简单的解决方案可能是这样的

res <- melt(rev, id = 1:2)[, 
         as.list({
            temp <- value != 0
            if (any(temp)) range(which(temp)) else rep(NA_integer_, 2)
         }), 
        by = cust_id]

rev[, c("Min", "Max") := res[, .(V1, V2)]]
rev
#    cust_id other_stuff  YearNo1 YearNo2  YearNo3  YearNo4  YearNo5  YearNo6  YearNo7 Min Max
# 1: CustNo1           c 1640.311       0    0.000 1759.671    0.000 1503.933    0.000   1   6
# 2: CustNo2           q 1009.496       0    0.000 1201.248    0.000    0.000 1308.095   1   7
# 3: CustNo3           p    0.000       0    0.000    0.000 1484.991    0.000    0.000   5   5
# 4: CustNo4           q 1666.084       0 1831.345 1992.150 1243.929    0.000 1051.647   1   7
# 5: CustNo5           w    0.000       0    0.000    0.000    0.000    0.000    0.000  NA  NA

---

一个更干净但带有警告的版本可能是

melt(rev, id = 1:2)[, as.list(as.integer(range(which(value != 0)))), by = cust_id]

Answer 2

重塑我会以长格式存储数据：

mrev = melt(rev, 
  id=c("cust_id","other_stuff"), 
  variable.name="YearNo", 
  value.name="revenue")[revenue > 0]

您在 revenue > 0 条件下失去了客户 5，但我怀疑这是否重要。

然后根据需要收集汇总统计信息：

mrev[ , list(first = YearNo[1], last = YearNo[.N]), by=cust_id]

#    cust_id   first    last
# 1: CustNo1 YearNo1 YearNo6
# 2: CustNo2 YearNo1 YearNo7
# 3: CustNo4 YearNo1 YearNo7
# 4: CustNo3 YearNo5 YearNo5

当然，从你一直使用的字符串中解析出数字很简单。

---

ma​​x.col 我认为这是一个糟糕的组合，但是......

max.col(rev[,!c("cust_id","other_stuff"),with=FALSE] > 0, "first")
max.col(rev[,!c("cust_id","other_stuff"),with=FALSE] > 0, "last")

您必须返回并分别填写全零的特殊情况（客户 5）。