如何在不使用两个 for 循环的情况下填充我的 data.table？答案

【问题标题】：How to fill my data.table without using two for-loops?如何在不使用两个 for 循环的情况下填充我的 data.table？
【发布时间】：2017-04-05 08:50:22
【问题描述】：

我无法在任何地方找到答案，我可能没有找到正确的搜索词或无法将问题转移给我。

所以我希望这里的人能够帮助我。

我有一个如下形式的 data.table dt1（我尽量保持简短，但需要包括所有可能性）：

ID  session
101  1
101  1
101  2
101  4
102  2
102  4
102  5
103  1
103  4
201  1
201  4
201  5
202  1
202  2
203  1
204  5

重现此的代码：

dt1 <- data.table(ID=c(101, 101, 101, 101, 102, 102, 102, 103, 103, 201, 201, 201, 202, 202, 203, 204), session=c(1, 1, 2, 4, 2, 4, 5, 1, 4, 1, 4, 5, 1, 2, 1, 5))

我在第一步中想要的是表单中的 data.table，当输入 data.frame 中有条目时，每个会话都有一个 1，没有条目时为 0。

ID  1   2   3   4   5
101 1   1   0   1   0
102 0   1   0   1   1
103 1   0   0   1   0
201 1   0   0   1   1
202 1   1   0   0   0
203 1   0   0   0   0
204 0   0   0   0   1

现在，我正在生成两个列表，

IDs <- sort(unique(dt1$ID))
sessions <- unique(dt1$session)

一个空的 data.table dt2 与 ncol=length(sessions) 和 nrow=length(IDs)，以会话作为列名

dt2 <- data.table(matrix(ncol=length(sessions), nrow=length(IDs)))
colnames(dt2) <- as.character(unique(dt1$session))

以及每个 ID 的会话列表。

sesID <- split(dt1$session, dt1$ID)

然后我用两个 for 循环遍历列表。

for (i in 1:nrow(dt2)) {
 for (j in 1:length(dt2)) {
  if (sessions[j] %in% sesID[i]) {
    set(dt2, i, j, 1)s
  }
  else {
    set(dt2, i, j, 0)
  } } }

作为第二步，如果会话介于 1 会话之间，我想将所有 0 更改为 1。

ID  1   2   3   4   5
101 1   1   1   1   0
102 0   1   1   1   1
103 1   1   1   1   0
201 1   0   0   1   1
202 1   1   0   0   0
203 1   0   0   0   0
204 0   0   0   0   1

我正在使用另外两个 for 循环来执行此操作。

for (i in 1:nrow(dt2)) {
 trues <- which(dt2[i,]==1)
 headTrues <- head(trues, 1)
 tailTrues <- tail(trues, 1)
 for (j in 1:length(dt2)){
  if (j > headTrues & j < tailTrues & headTrues <= tailTrues){
    set(dt2, i, j, 1)
} } }

因为这会生成一个带有 TRUE 和 FALSE 的 data.table dt3，所以我会在之后替换它们。

(to.replace <- names(which(sapply(dt3, is.logical)))) 
for (var in to.replace) dt3[, var:= as.numeric(get(var)), with=FALSE]

为了将 ID 保留为一列，我会在之后添加它们。

dt3$ID <- IDs

如果我没有大约 12000 个唯一 ID 并且需要进行数千次运行，那就没问题了。我很确定在 R 中有很多更好的方法可以做到这一点。只是现在还没有。

非常感谢您。

【问题讨论】：

第一步见help("dcast.data.table")。

标签： r data.table

【解决方案1】：

使用：

# create a reference data.table which includes also 'session 3'
ref <- CJ(ID = dt1$ID, session = min(dt1$session):max(dt1$session), unique = TRUE)
# join 'ref' with 'dt1' and create a new variable that has NA's
# for values that don't exist in 'dt1$session'
ref[dt1, on = c('ID','session'), ses2 := i.session]

# summarise to create a dummy and reshape to wide format with the 'dcast'-function
dcast(ref[, sum(!is.na(ses2)), .(ID,session)], 
      ID ~ session, value.var = 'V1')

你得到：

    ID 1 2 3 4 5
1: 101 1 1 0 1 0
2: 102 0 1 0 1 1
3: 103 1 0 0 1 0
4: 201 1 0 0 1 1
5: 202 1 1 0 0 0
6: 203 1 0 0 0 0
7: 204 0 0 0 0 1

另一种选择（由@Frank 在 cmets 中提出）：

dt1[, session := factor(session, levels=1:5)]
dcast(dt1, ID ~ session, fun = function(x) sign(length(x)), drop = FALSE)

这会给你同样的结果。

如果你想在 1 之间填充零，你可以使用shift-函数来检查前一个值和下一个值是否等于1：

dcast(ref[, sum(!is.na(ses2)), .(ID,session)
          ][shift(V1,1,0,'lag')==1 & shift(V1,1,0,'lead')==1, V1 := 1L, ID],
      ID ~ session, value.var = 'V1')

你会得到：

    ID 1 2 3 4 5
1: 101 1 1 1 1 0
2: 102 0 1 1 1 1
3: 103 1 0 0 1 1
4: 201 1 0 0 1 1
5: 202 1 1 0 0 0
6: 203 1 0 0 0 0
7: 204 0 0 0 0 1

针对您的评论，要替换 1 之间的所有零，您可以使用 rle 和 inverse.rle 函数的组合：

dt2 <- unique(dt1)[, val := 1
                   ][CJ(ID = ID, session = min(session):max(session), unique = TRUE), on = c('ID','session')
                     ][is.na(val), val := 0
                       ][, val := {rl <- rle(val);
                                   rl$values[rl$values==0 & shift(rl$values,fill=0)==1 & shift(rl$values,fill=0,type='lead')==1] <- 1;
                                   inverse.rle(rl)},
                         ID]

dcast(dt2, ID ~ session, value.var = 'val')

这给出了：

    ID 1 2 3 4 5
1: 101 1 1 1 1 0
2: 102 0 1 1 1 1
3: 103 1 1 1 1 0
4: 201 1 1 1 1 1
5: 202 1 1 0 0 0
6: 203 1 0 0 0 0
7: 204 0 0 0 0 1

或者（@Frank 的想法）：

ref[, v := 0L]
ref[dt1[, .(first(session), last(session)), by=ID], on=.(ID, session >= V1, session <= V2), 
  v := 1L ]
dcast(ref, ID ~ session)

当数据集中存在所有不同的会话编号时，您还可以使用嵌套的dcast/melt-方法作为交叉连接方法的替代方法（关于速度和内存效率，前一种方法最好使用交叉连接 (CJ)。

新示例数据集：

DT <- data.table(ID=c(101, 101, 101, 101, 102, 102, 102, 103, 103, 201, 201, 201, 202, 202, 203, 204), 
                 session=c(1, 2, 3, 4, 2, 4, 5, 1, 4, 1, 4, 5, 1, 2, 1, 5))

代码：

dcast(melt(dcast(DT[, val := 1], 
                 ID ~ session,
                 value.var = 'val',
                 fill = 0), 
           id = 'ID')[, value := {rl <- rle(value);
           rl[[2]][rl[[2]]==0 & shift(rl[[2]],1,0)==1 & shift(rl[[2]],1,0,'lead')==1] <- 1;
           inverse.rle(rl)},
           ID],
      ID ~ variable, value.var = 'value')

这给出了：

    ID 1 2 3 4 5
1: 101 1 1 1 1 0
2: 102 0 1 1 1 1
3: 103 1 1 1 1 0
4: 201 1 1 1 1 1
5: 202 1 1 0 0 0
6: 203 1 0 0 0 0
7: 204 0 0 0 0 1

【讨论】：

谢谢。数据中的每个会话都有一个 ID，我只是忘记将其包含在示例数据中。如果两个 1 之间有一个或多个零，我想填充零。
@Frank thx, true & added :-) -- 对于零的替换，我认为CJ-approach icw rle 仍然需要
这很好用而且速度很快！非常感谢你。虽然我不得不承认我必须通过文档才能了解你在那里做了什么。

【解决方案2】：

一种方法是使用reshape。

首先创建一个列value等于1：

dt1[, value :=  1]

现在将reshape 转换为wide 格式：

dt1.1 <- reshape(dt1, direction = "wide", idvar = "ID", timevar = "session")

你会得到这个：

    ID value.1 value.2 value.4 value.5
1: 101       1       1       1      NA
2: 102      NA       1       1       1
3: 103       1      NA       1      NA
4: 201       1      NA       1       1
5: 202       1       1      NA      NA
6: 203       1      NA      NA      NA
7: 204      NA      NA      NA       1

将NA 替换为0：

dt1.1[is.na(dt1.1)] <- 0

    ID value.1 value.2 value.4 value.5
1: 101       1       1       1       0
2: 102       0       1       1       1
3: 103       1       0       1       0
4: 201       1       0       1       1
5: 202       1       1       0       0
6: 203       1       0       0       0
7: 204       0       0       0       1

或者dcast:

dcast(ID ~ session, data = dt1, fun.aggregate = function(x) as.numeric(length(x) > 0))

   ID 1 2 4 5
1 101 1 1 1 0
2 102 0 1 1 1
3 103 1 0 1 0
4 201 1 0 1 1
5 202 1 1 0 0
6 203 1 0 0 0
7 204 0 0 0 1

【讨论】：

与预期输出不同，3 列缺失。
那是因为在您的测试数据中您没有任何 3... 因此，如果 @Jav 的方法在数据本身中找不到它，则不会为 3 生成列.
谢谢，这两种方法都比我的方法快得多。大型数据集中的每个会话确实有一个 ID。我在测试数据中忽略了这一点。

【解决方案3】：

您可以通过这种方式迈出第一步……这就是您要找的吗？

library(dplyr)
df_dt1 %>% group_by (ID) %>% summarize (S1 = as.integer(sum(session == 1)>0), 
                                    S2 = as.integer(sum(session ==2)>0), 
                                    S3 = as.integer(sum(session ==3)>0),
                                    S4 = as.integer(sum(session ==4)>0),
                                    S5 = as.integer(sum(session ==5)>0))

你得到

     ID    S1    S2    S3    S4    S5
  <dbl> <int> <int> <int> <int> <int>
1   101     1     1     0     1     0
2   102     0     1     0     1     1
3   103     1     0     0     1     0
4   201     1     0     0     1     1
5   202     1     1     0     0     0
6   203     1     0     0     0     0
7   204     0     0     0     0     1

【讨论】：

能否请您解释一下为什么例如 S1 = as.integer(sum(session == 1)>0) 只返回 1 或 0？我知道这是因为您添加了 >0，但无法理解是什么使它返回 1 或 0。
@MLEN 逻辑 TRUE/FALSE 转换为整数时变为 1/0。