【问题标题】：Sample n consecutive dates from a random starting date for each index in a data frame从数据框中每个索引的随机开始日期采样 n 个连续日期
【发布时间】：2017-09-01 19:36:31
【问题描述】：

考虑以下DataFrame：

    DF = structure(list(c_number = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 
1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 3L, 3L, 
3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 
3L, 4L, 4L, 4L, 4L, 4L, 4L, 4L, 4L, 4L, 4L, 4L, 5L, 5L, 5L, 5L, 
5L, 5L, 5L, 5L, 5L), date = c("2001-01-06", "2001-01-07", "2001-01-08", 
"2001-01-09", "2001-01-10", "2001-01-11", "2001-01-12", "2001-01-13", 
"2001-01-14", "2001-01-15", "2001-01-16", "2001-01-17", "2001-01-18", 
"2001-01-19", "2001-01-20", "2001-01-21", "2001-01-22", "2001-01-23", 
"2001-01-24", "2001-01-25", "2001-01-26", "2001-01-11", "2001-01-12", 
"2001-01-13", "2001-01-14", "2001-01-15", "2001-01-16", "2001-01-17", 
"2001-01-18", "2001-01-19", "2001-01-20", "2001-01-21", "2001-01-22", 
"2001-01-23", "2001-01-24", "2001-01-25", "2001-01-26", "2001-01-27", 
"2001-01-28", "2001-01-12", "2001-01-13", "2001-01-14", "2001-01-15", 
"2001-01-16", "2001-01-17", "2001-01-18", "2001-01-19", "2001-01-20", 
"2001-01-21", "2001-01-22", "2001-01-23", "2001-01-24", "2001-01-25", 
"2001-01-26", "2001-01-27", "2001-01-28", "2001-01-29", "2001-01-30", 
"2001-01-21", "2001-01-22", "2001-01-23", "2001-01-24", "2001-01-25", 
"2001-01-26", "2001-01-27", "2001-01-28", "2001-01-29", "2001-01-30", 
"2001-01-31", "2001-01-24", "2001-01-25", "2001-01-26", "2001-01-27", 
"2001-01-28", "2001-01-29", "2001-01-30", "2001-01-31", "2001-02-01"
), value = c(1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1)), .Names = c("c_number", 
"date", "value"), row.names = c(NA, -78L), class = "data.frame")

我有 5 个客户在连续日期的销售数据；对于客户 1，我有连续 21 个日期的销售数据……对于客户 5，我有连续 9 个日期的销售数据……：

> table(DF[, 1])

 1  2  3  4  5 
21 18 19 11  9

对于每个客户，我想对连续 15 天（如果该客户至少有 15 个连续日期）或该客户的所有日期（如果该客户没有 15 个连续日期）的子 DF 进行抽样.

关键部分是，在情况 1（如果我为该客户至少有 15 个连续日期）这 15 个连续天应该有一个随机的开始日期（例如，并不总是客户的第一个或最后 15 个日期）避免在分析中引入偏差。

在普通的 R 中我会这样做：

library(dplyr)

slow_function <- function(i, DF, length_out = 15){
  sub_DF = DF[DF$c_number == i, ]
  if(nrow(sub_DF) <= length_out){
    out_DF = sub_DF
  } else {
    random_start = sample.int(nrow(sub_DF) - length_out, 1)
    out_DF = sub_DF[random_start:(random_start + length_out - 1), ]
  }
}
a_out = lapply(1:nrow(a_1), slow_function, DF = DF, length_out = 15)
a_out = dplyr::bind_rows(a_out)


table(a_out[, 1])
 1  2  3  4  5 
15 15 15 11  9

但是我的数据要大得多，上面的操作慢得让人难以忍受。在 data.table/dplyr 中是否有快速获得相同结果的方法？

编辑：生成数据的代码。

num_customer = 10
m   = 2 * num_customer
a_0 = seq(as.Date("2001-01-01"), as.Date("2001-12-31"), by = "day")
a_1 = matrix(sort(sample(as.character(a_0), m)), nc = 2)
a_2 = list()
for(i in 1:nrow(a_1)){
  a_3 = seq(as.Date(a_1[i, 1]), as.Date(a_1[i, 2]), by = "day")
  a_4 = data.frame(i, as.character(a_3), round(runif(length(a_3), 1)))
  colnames(a_4) = c("c_number", "date", "value")
  a_2[[i]] = a_4
}
DF = dplyr::bind_rows(a_2)
dim(DF)
table(DF[, 1])
dput(DF)

编辑2：

对于 10 万客户 DF，Christoph Wolk 的解决方案是最快的。接下来是 G. Grothendieck 的（大约 4 倍以上的时间），接下来是 Nathan Werth 的（比 G. Grothendieck 的慢 2 倍）。其他解决方案明显较慢。尽管如此，所有提案都比我试探的“slow_function”更快，所以感谢大家！

【问题讨论】：

问题有点不清楚。对于每个员工，您想选择一个随机的起始日期并在该起始点之后最多连续 15 天进行抽样？或者，如果随机选择会导致员工的数据点少于 15 个，那么只取最后 15 个？
@jdobres：感谢您的提问。实际上第二种解释（'如果随机选择会导致员工的数据点少于 15 个，只取最后 15 个？'）是我想要的。

标签： r dplyr data.table

【解决方案1】：

试试这个：

sample15consecutive <- function(DF) {
runs <- rle(DF$c_number)$lengths
start <- ifelse(runs > 15, sapply(pmax(runs-15, 1), sample.int, size=1), 1)
end <- ifelse(runs >= 15, 15, runs)
previous <- cumsum(c(0, head(runs, -1)))
DF[unlist(mapply(seq, previous + start, previous + start + end - 1), length),]
}

根据微基准测试，它的速度大约快了 4 倍。 c_numbers 和日期必须排序。

【讨论】：

谢谢（+1）！但是 G. Grothendieck 的答案会不会更快（因为他调用的 O(n) 函数更少，所以开销会更少）？
我不能说。在我的微基准测试中，我的版本似乎快了一点，但我可能犯了一个错误，或者行为可能取决于数据的具体情况——在示例数据集上，所有方法都非常快。您可以在大型数据集上对其进行测试。
确实，我又试了一次，在更大的数据集上我得到了 4 倍的改进。再次感谢您指出性能！

【解决方案2】：

在基础 R 中加快速度的一种方法可能是只使用索引而不是子集之前的整个 data.frame。

output = DF[unlist(lapply(
            split(1:NROW(DF), DF$c_number),  #Split indices along rows of DF
            function(x){
                if(length(x) < 15){          #Grab all indices if there are less than 15
                    x
                } else{
                    #Grab an index randomly such that there will be 14 more left after it
                    x[sample(0:(length(x) - 15), 1) + sequence(15)]
                }
            })),
            ]

sapply(split(output, output$c_number), NROW)
# 1  2  3  4  5 
#15 15 15 11  9

【讨论】：

如何使用 data.table/dplyr 来加快速度？或者你的意思是这个问题不能使用 data.table/dplyr 加速？
lapply 或多或少是标准 R 循环的包装器，它很慢。 dplyr 和 data.table 包使用了很多更快的 C 代码来加速基本操作。
@jdobres - lapply 使用 C 循环。 lapply 源代码的最后一行显示它被分派到内部 C 代码中。 .Internal(lapply(X, FUN))使用得当不会慢。
@RichScriven 呵呵。不知道那个。谢谢！
谢谢。我也不知道 lapply 。我发现 G. Grothendieck 的回答更直观（但这是主观的），但谢谢！

【解决方案3】：

samp 生成 1（样本内）和 0（样本外）的向量，我们以此作为子集。我没有对其进行基准测试，但它不会将DF 分解为子数据帧，而只会拆分c_number 向量，然后在原始DF 上执行单个子集。

samp <- function(x) {
  n <- length(x)
  replace(0*x, seq(sample(max(n - 15, 1), 1), length = min(n, 15)), 1)
}
s <- subset(DF, ave(c_number, c_number, FUN = samp) == 1)

【讨论】：

这太聪明了。请让我几分钟试一试。

【解决方案4】：

试试这个：

library(data.table)

setDT(DF)

DF[
  ,
  {
    if (.N <= 15) {
      # 15 or fewer rows? Grab them all.
      .SD
    } else {
      # Grab a random starting row not too close to the end
      random_start <- sample(seq_len(.N - 14), size = 1)
      .SD[random_start + 0:14]
    }
  },
  by = c_number
]

【讨论】：

这正是我的问题 (+1) 的答案。但是 d.b 和 G. Grothendieck 的回答表明我没有问正确的问题。

【解决方案5】：

tidyverse 包（特别是 dplyr 和 tidyr）非常简单。

library(tidyverse)

df.sample <- arrange(DF, date) %>% 
  group_by(c_number) %>% 
  do(head(., 15))

输出（前 30 行 / 2 名员工）：

# A tibble: 65 x 3
   c_number       date value
      <int>      <chr> <dbl>
 1        1 2001-01-06     1
 2        1 2001-01-07     1
 3        1 2001-01-08     1
 4        1 2001-01-09     1
 5        1 2001-01-10     1
 6        1 2001-01-11     1
 7        1 2001-01-12     1
 8        1 2001-01-13     1
 9        1 2001-01-14     1
10        1 2001-01-15     1
11        1 2001-01-16     1
12        1 2001-01-17     1
13        1 2001-01-18     1
14        1 2001-01-19     1
15        1 2001-01-20     1
16        2 2001-01-11     1
17        2 2001-01-12     1
18        2 2001-01-13     1
19        2 2001-01-14     1
20        2 2001-01-15     1
21        2 2001-01-16     1
22        2 2001-01-17     1
23        2 2001-01-18     1
24        2 2001-01-19     1
25        2 2001-01-20     1
26        2 2001-01-21     1
27        2 2001-01-22     1
28        2 2001-01-23     1
29        2 2001-01-24     1
30        2 2001-01-25     1
# ... with 35 more rows

编辑：以下为每个员工选择一个随机开始日期，然后在随机选择的点之后最多连续选择 15 天：

df.sample <- arrange(DF, date) %>% 
  group_by(c_number) %>% 
  mutate(date = as.Date(date), start = sample(date, 1)) %>% 
  filter(date >= start & date <= (start + 14))

【讨论】：

不一样，因为您总是为每个客户获取最后 15 行。但我想要从随机开始日期开始连续 30 行。我改写了标题以使这一点更清楚（mea maxima culpa）
已更新以更好地匹配您的意图。不能保证是最快的，但是可读性很强。
这（编辑后）正是我的问题（+1）的答案。但是 d.b 和 G. Grothendieck 的回答表明我没有问正确的问题。