将环境中的所有 data.frames 转换为 data.tables

Question

我在将所有 data.frames 转换为 data.tables 后立即使用 := 时收到警告：

library(data.table) #Win R-3.5.1 x64 data.table_1.12.2
df1 <- data.frame(A=1, B=2)
df2 <- data.frame(D=3)
lapply(mget(ls()), function(x) {
    if (is.data.frame(x)) {
        setDT(x)
    }
})
df1[, rn:=.I]

警告信息： 在[.data.table(df1, , :=(rn, .I)) 中： 通过获取 data.table 的（浅）副本检测和修复无效的 .internal.selfref ，以便 := 可以通过引用添加此新列。在较早的时候，这个 data.table 已被 R 复制（或使用 structure() 或类似方法手动创建）。避免 names

下面也会产生同样的警告：

df3 <- data.frame(E=3)
df4 <- data.frame(FF=4)
for (l in list(df3, df4)) setDT(l)
df3[, rn:=.I]

一个一个地打字很有效，但是很乏味

df5 <- data.frame(G=5)
setDT(df5)
df[, rn := .I]    #no warning

将所有data.frames转换为data.tables的惯用方法是什么？

相关：

1. Using setDT inside a function
2. Invalid .internal.selfref in data.table

Answer 1

这应该可以解决问题：

library(data.table) #Win R-3.5.1 x64 data.table_1.12.2
df1 <- data.frame(A=1, B=2)
df2 <- data.frame(D=3)
for (x in ls()) {
    if (is.data.frame(get(x))) {
        assign(x, as.data.table(get(x)))
    }
}
df1[, rn:=.I]

我猜（虽然不确定）for/lapply 循环使用了一种自己的环境，它与data.table 的 by ref 语义相混淆。

Answer 2

setDT 对名称/符号进行操作，而get 返回对象的值。您可以构造 setDT 表达式并对其求值：

library(data.table) 
df1 <- data.frame(A=1, B=2)
df2 <- data.frame(D=3)
for(x in ls()){
  if (is.data.frame(get(x))) {
    eval(substitute(setDT(x), list(x=as.name(x))))
  }
}
rm(x)
df1[, rn:=.I]

我会使用循环而不是 lapply 来避免复杂化（例如，使用评估环境）。

Answer 3

有点晚了，但这似乎是一个很好的——而且很少见的——使用eapply()（以及list2env()）。当然，这是另一种选择，当然不是说它是惯用的方式。

library(data.table)
df1 <- data.frame(A=1, B=2)
df2 <- data.frame(D=3)

list2env(eapply(.GlobalEnv, function(x) {if(is.data.frame(x)) {setDT(x)} else {x}}), .GlobalEnv)

df1[, rn:=.I]
df1
   A B rn
1: 1 2  1

---

一些时间和内存使用情况：

set.seed(0L)
sz <- 1e7
df1 <- data.frame(A=rnorm(sz))
df2 <- data.frame(B=rnorm(sz))
df3 <- copy(df1)
df4 <- copy(df2)

microbenchmark::microbenchmark(unit="ms", times=1L,
    assign_mtd = {
        for (x in ls()) {
            if (is.data.frame(get(x))) {
                assign(x, as.data.table(get(x)))
            }
        }
    },
    eval_sub_mtd = {
        for(x in ls()){
            if (is.data.frame(get(x))) {
                eval(substitute(setDT(x), list(x=as.name(x))))
            }
        }
    },
    eapply_mtd = {
        list2env(eapply(.GlobalEnv, function(x) {
                if (is.data.frame(x)) setDT(x) else x
            }), .GlobalEnv)
    }
)

时间安排：

Unit: milliseconds
         expr        min         lq       mean     median         uq        max neval
   assign_mtd 115.922802 115.922802 115.922802 115.922802 115.922802 115.922802     1
 eval_sub_mtd   3.293358   3.293358   3.293358   3.293358   3.293358   3.293358     1
   eapply_mtd   1.913802   1.913802   1.913802   1.913802   1.913802   1.913802     1