将 data.table 列类分别更改为 integer64、double

Question

给定 data.table dt：

dt <- structure(list(V1 = c("1544018118438041139", "1544018118466235879", 
"1544018118586849680", "1544018118601169211", "1544018118612947335", 
"1544018118614422179"), V2 = c("162", "162", "161.05167", "158.01309", 
"157", "157"), V3 = c("38", "38", "36.051697", "33.01306", "32", 
"32"), V4 = c("0.023529414", "0.025490198", "0.023529414", "0.027450982", 
"0.03137255", "0.03137255"), V5 = c("1", "1", "1", "1", "1", 
"1"), V6 = c("2131230815", "2131230815", "2131230815", "2131230815", 
"2131230815", "2131230815"), V7 = c("1", "0", "0", "0", "0", 
"-1")), class = c("data.table", "data.frame"), row.names = c(NA, 
-6L), .internal.selfref = <pointer: 0x2715f60>)

我希望第一列为bit64::as.integer64()，其余列为as.numeric()

我正在尝试这样做：

dt <- dt[ ,V1 := bit64::as.integer64(V1)]

dt[, lapply(.SD, as.numeric), .SDcols = -c("V1")]

但它似乎没有做我想做的事，请告知如何将特定列更改为 A 类（integer64），将其余列更改为另一个 B 类（比如as.numeric()）？

Answer 1

从上面的 cmets 看来，您似乎希望能够一步完成这一切，而不是将第一个转换为 integer64，然后将其余的转换为 double。一种方法是：

dt[, names(dt) := Map(function(fun, x) fun(x), rep(list(bit64::as.integer64, as.numeric), times = c(1,length(.SD) - 1)), .SD), .SDcols = names(dt)]

Map 函数会一起遍历您的输入。也就是说，它获取第一个和第二个向量的第一个元素并将它们作为参数传递给我们的函数。然后它获取两个向量的第二个元素并将它们传递给函数。

在我们的Map 电话中，我们有：

• 要应用的主要功能。这是一个匿名函数，它接受两个参数 (1) fun 和 (2) x。我们函数的结果是将fun 应用到x 或fun(x) 的结果。举个具体的例子试试：

  myfun <- function(fun, x){
    fun(x)
  }
  res<-myfun(as.numeric, c("1","1")); class(res)
  

• 要传递给我们的主函数的函数列表。这些将在我们的主函数中用作fun。在这种情况下，它的list(as.integer64, as.numeric, as.numeric,...)

• 要传递给我们的主函数的向量列表。这些将在我们的主函数中用作x。在这种情况下，我们dt 的每一列。

这是如何工作的快速而肮脏的视觉帮助（假设 custom_function 有两个参数）：

Answer 2

在我看来，您有一个 data.table 对象，自纪元以来的时间戳为 integer64 纳秒。我在工作中使用它来表示高分辨率时间戳。

好消息是 data.table 支持这一点——通过依赖我们的包nanotime，它本身使用bit64 作为integer64 类型。但是，我创建时间戳的方式不同，通常是从我检索数据的编译代码中创建的。

我在this post 中的Rcpp Gallery 对此进行了详细描述。所以一些好消息：这是可以做到的。一些坏消息：我不认为你可以按照你想要的方式去做，因为我们只能通过double，它只有 16 位小数精度，而不是 19 位。但也许我缺少技巧，所以如果存在更简单的解决方案我' d 全力以赴。 （而且我一直忘记是否有“从字符串方法解析 int64”。我从来没有走那条路，因为你不能大规模地这样做——我也处理相当大的数据集。）

Answer 3

谢谢大家，@dirk_eddelbuettel 我设法做到了：

1) 加载所有JSON 文件（在我的情况下）并使用

bigint_as_char=TRUE

在fromJSON 命令内。

2) 现在你有一个大表，所有列都是字符。

3) 将时间戳列转换为bit64::as.integer64() - 你会得到我想要的数字。

4) 将其余的转换为所需的类型。

5) 当我想执行计算时，例如timestamp - lag(timestamp)，我将lag_timestamp = lag(timestamp)（带有dplyr::mutate）添加为新列并添加diff_column = 存储它as.character()

6) 您几乎完成了 - 新的 diff 列将我想要的值存储为字符串/字符，现在您可以在需要时将其转换为 as.numeric() 或应用 ifelse() 来处理不相关的值。

7) 仅此而已，它非常适合我，并且不会使 R Studio 崩溃。

在应用我的解决方案之前，R Studio 崩溃了。