这是另一个答案的略微改进版本。
- 对
unlist使用非默认值
-
rep.int 而不是 rep
-
seq_len 而不是 :
-
setDT 而不是 data.table()
- @Cole 建议的
sequence 函数会更好
- 以及内部
vecseq 的进一步小改进
合起来似乎很重要。
时间...
library(data.table)
f0 = function(dt) {
dt[, c(.SD, .(year = 1:V3)), by = 1:nrow(dt) ]
}
f1 = function(dt) {
dt2 <- data.table(
rep(dt$V1, dt$V3),
rep(dt$V2, dt$V3),
rep(dt$V3, dt$V3),
unlist(lapply(dt$V3, function(x){1:x}))
)
dt2
}
f2 = function(dt) {
dt2 = list(
V1 = rep.int(dt$V1, dt$V3),
V2 = rep.int(dt$V2, dt$V3),
V3 = rep.int(dt$V3, dt$V3),
year = unlist(lapply(dt$V3, seq_len), recursive=FALSE, use.names=FALSE)
)
setDT(dt2)
dt2
}
f3 = function(dt) {
## even better with sequence function suggested by @Cole
dt2 = list(
V1 = rep.int(dt$V1, dt$V3),
V2 = rep.int(dt$V2, dt$V3),
V3 = rep.int(dt$V3, dt$V3),
year = sequence(dt$V3)
)
setDT(dt2)
dt2
}
f4 = function(dt) {
dt[, c(lapply(.SD, rep.int, V3), year = .(sequence(V3)))]
}
f5 = function(dt) {
dt2 = list(
V1 = rep.int(dt$V1, dt$V3),
V2 = rep.int(dt$V2, dt$V3),
V3 = rep.int(dt$V3, dt$V3),
year = data.table:::vecseq(rep.int(1L,length(dt$V3)), dt$V3, NULL)
)
setDT(dt2)
dt2
}
关于“大”数据
dt <- data.table(1:5000000, 5000000:1, rpois(5000000, 240))
system.time(f0(dt))
# user system elapsed
# 22.100 18.914 40.449
system.time(f1(dt))
# user system elapsed
# 35.866 15.607 51.475
system.time(f2(dt))
# user system elapsed
# 22.922 6.839 29.760
system.time(f3(dt))
# user system elapsed
# 6.509 6.723 13.233
system.time(f4(dt))
# user system elapsed
# 12.140 14.114 26.254
system.time(f5(dt))
# user system elapsed
# 6.448 4.057 10.506
无论如何，您应该尝试改进您在扩展数据集上运行的流程，因为也许您一开始就不必扩展它。
例如，在frollmean 函数中，有一个参数adaptive 可以计算可变长度窗口上的滚动平均值，通常需要先扩展数据来计算。
V3 在你的数据中提醒了很多自适应移动平均的窗口长度。