取决于其他数据框列的条件总和

Question

假设您有一个由以下命令生成的数据框：

date <- seq(as.Date("2012-09-01"), Sys.Date(), 1)
id <- rep(c("a","b","c","d"), 8)
bdate <- seq(as.Date("2012-08-01"), as.Date("2012-11-01"), 1)[sample(1:32, 32)]

# The end date should be random but greater than the begin date. However, I set it to 15 days later for simplicity.
edate <- bdate + 15

value <- seq(1, 1000, 1)[sample(1:1000, 32)]
dfa <- data.frame(id, value, bdate, edate)
names(dfa) <- c("ID", "Value", "Begin.Date", "End.Date")

目标是按以下方式按 ID（即“a”、“b”或“c”）汇总所有观察结果：

Date        a   b   c
2012-08-01  XXX YYY ZZZ
2012-08-02  XXX YYY ZZZ
2012-08-03  XXX YYY ZZZ

对于每个 ID，值 XXX、YYY 和 ZZZ 表示所有观察值的总和，其中“日期”列上的日期介于原始数据框上的 dfa$Begin.Date 和 dfa$End.Date 之间。

我目前的解决方案对于大型数据集几乎没有用，所以我想知道是否有更快的方法来做到这一点。

我当前的脚本：

# Create additional data frame
dfb <- data.frame(seq(as.Date("2012-08-01"), as.Date("2012-11-01"), 1))
names(dfb)[1] <- "Date"

# Variable for unique IDs
nid <- unique(dfa$ID)

# Number of total IDs
tid <- length(nid)

for (i in c(1:tid))
{
sums <- vapply(dfb$Date, function(x)
{
temp <- subset(dfa, dfa$ID == nid[i])
temp <- subset(temp, temp$Begin.Date < x & temp$End.Date > x)
res <- sum(temp$Value)
res
}, FUN.VALUE = 0.1
)
dfb[1+i] <- sums
}

# Change column names to ID
names(dfb) <- c("Date", as.character(nid))

编辑：我在下面发布了一个更有效的答案。但是，我接受了马修的回答，因为它让我走上了正确的道路。

Answer 1

感谢@Matthew Dowle，我发现了如何使用 data.table 包更有效地做到这一点。

# Fire up the bad boy
library(data.table)

# Create the data table with original data
value <- seq(1, 1000, 1)[sample(1:1000, 32)]
dt <- data.table(id, value, bdate, edate)
setnames(dt, names(dt), c("id", "value", "begin", "end"))

# For each pair of id and value, create a row for each day. (i.e., the first line:
# a  928  2012-08-11  2012-08-26
# will now be 15 lines. The first two columns are repeated over 15 different dates.
dt <- dt[, seq(begin[1], (last(end) - 1), by="days"), by = list(id, value)]
setnames(dt, names(dt), c(names(dt)[1:2], "date"))
setkey(dt)

# Sum each pair of id and value over the dates column
dt <- dt[, sum(value), by = list(id, date)]
setnames(dt, names(dt), c(names(dt)[1:2], "value"))
setkey(dt, date, id)

# Define the time span you would like on your final table
timespan <- dt[, seq(as.Date("2012-07-25"), max(date), by = "day")]

# Now just cross reference the time span with your actual data
setkey(dt, id, date)
dt <- dt[CJ(unique(id), timespan), ]
setnames(dt, names(dt), c(names(dt)[1:2], "value"))
setkey(dt, date)

哒哒！！

现在，按照我最初想要的顺序重新排列表格：

Date        a   b   c
2012-08-01  XXX YYY ZZZ
2012-08-02  XXX YYY ZZZ
2012-08-03  XXX YYY ZZZ

只需使用 reshape2 包中的 dcast。

那么大家觉得呢？太棒了，对吧？

Answer 2

有趣。这似乎与这个问题非常相似：

Splitting irregular time series into regular monthly averages

这有帮助吗？在那里，正如您的问题一样，一个技巧可以是使用包data.table 中的roll=TRUE 加入流行的begin。特别是因为您说您拥有大型数据集。

Answer 3

我会做以下事情。首先通过检查所需日期是否在Begin.Date 和End.Date 之间来子集原始数据集。然后只需使用一个简单的table 函数来获取'a' 到'd' 的频率。

mydate <- as.Date("2012-08-25")  # take Aug 25, 2012 as an example
ind <- (dfa$Begin.Date <= mydate) & (dfa$End.Date >= mydate)
temp <- subset(dfa, ind)
out <- table(temp$ID)

Answer 4

我不知道这是否更快（尚未对其进行基准测试），并且对于特别大的数据，它可能会创建太大的中间数据集，但无论如何我都会展示它。

也可以设置考虑的日期范围（请求基于对此答案的评论）。

library("plyr")
library("reshape2")

earliest.date <- as.Date("2007-01-01")
latest.date <- as.Date("2012-11-01")

dfa.long <- adply(dfa, 1, function(DF) {
  if(DF$End.Date >= earliest.date & DF$Begin.Date <= latest.date) {
    data.frame(Date=seq(max(DF$Begin.Date, earliest.date), 
                        min(DF$End.Date, latest.date), 
                        1))
  }
})

dfb <- ddply(dfa.long, .(Date, ID), summarise, sum=sum(Value))
dfb <- dcast(dfb, Date~ID, value.var="sum", fill=0)

dfa.long 是一个数据集，其中每一行在开始/结束范围内的每个日期都重复（也限制在最早/最晚日期范围内）。然后可以直接按日期和ID 聚合并使用reshape2 中的dcast 将其转换为您想要的宽格式。