【问题标题】:Difftime slow with data.table IDate in RR中的data.table IDate的Difftime慢
【发布时间】:2015-04-04 18:14:21
【问题描述】:

阅读?IDate 在我的大型数据表中将我的字符变量转换为整数日期似乎是个好主意。谁不想快速排序和分组?

IDate 帮助清楚地提到该功能仍处于试验阶段,所以我的问题更多的是反馈而不是投诉。

为什么计算整数日期 (IDate) 类变量的时间差比其他日期类变量或整数要长这么多?

# Example data
require(data.table)
n <- 1e7
dt <- data.table(x1 = sample(1000:2000, n, replace=TRUE),
                 x2 = sample(1000:2000, n, replace=TRUE))

# Add date variables.
dt[, date1 := as.Date(x1, origin="1990-01-01")]
dt[, date2 := as.Date(x2, origin="1990-01-01")]

# Add integer-dates.
dt[, idate1 := as.IDate(date1)]
dt[, idate2 := as.IDate(date2)]

# Add POSIXct dates.
dt[, posix1 := as.POSIXct(date1)]
dt[, posix2 := as.POSIXct(date2)][]

# Check variable classes.
sapply(dt[, list(x1, date1, idate1, posix1)], class)

给予

$x1
[1] "integer"

$date1
[1] "Date"

$idate1
[1] "IDate" "Date" 

$posix1
[1] "POSIXct" "POSIXt"

一切都好。

现在让我们看看计算每个类的差异需要多长时间。

# Compute date diffs.
system.time(dt[, x.diff := x1 - x2])
user  system elapsed 
0.07    0.00    0.06

system.time(dt[, date.diff := date1 - date2])
user  system elapsed 
0.39    0.13    0.51

system.time(dt[, idate.diff := idate1 - idate2])
user  system elapsed 
6.21    0.67    6.91 

system.time(dt[, posix.diff := posix1 - posix2]) # diff in seconds
user  system elapsed 
0.20    0.09    0.30 

IDate 类至少比其他类慢十个数量级,令人惊讶的是它应该存储为整数?

# Check results are identical.
identical(dt[, date1], dt[, idate1])
[1] TRUE

Date 和 IDate 结果相同。怎么回事?

【问题讨论】:

    标签: r data.table datediff


    【解决方案1】:

    我不知道为什么,但您可以通过将 IDate 转换为整数来“修复”它。我也不知道为什么会修复它。我知道这不是一个答案,而更像是一个后续观察:

    > system.time(dt[, idate.diff := idate1 - idate2])
       user  system elapsed 
       4.78    0.44    5.25 
    > head(dt$idate.diff)
    Time differences in days
    [1] -620 -491  634  151  110 -338
    > system.time(dt[, idate.int.diff := as.integer(idate1) - as.integer(idate2)])
       user  system elapsed 
       0.06    0.01    0.08 
    > head(dt$idate.int.diff)
    [1] -620 -491  634  151  110 -338
    

    【讨论】:

    • 这是一个很好的观察。现在我坚持POSIXct。你认为这是IDate 中的错误吗?
    • 我稍后会检查data.table issue list,看看是否有任何问题。
    猜你喜欢
    • 2016-04-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-01-24
    • 1970-01-01
    • 2018-11-04
    • 1970-01-01
    • 2016-11-23
    相关资源
    最近更新 更多