【问题标题】:Which data.table syntax for left join (one column) to prefer更喜欢左连接(一列)的哪个 data.table 语法
【发布时间】:2019-06-16 03:45:55
【问题描述】:

我应该如何开始考虑我更喜欢哪种语法?

我的标准是效率(这是第一名)以及可读性/可维护性。

这个

A <- B[A, on = .(id)] # very concise!

或者那个

A[B, on = .(id), comment := i.comment]

甚至(正如 PoGibas 建议的那样):

A <- merge(A, B, all.x = TRUE)

为了完整起见,更基本的方法是使用match():

A[, comment := B[chmatch(A[["id"]], id), comment]]

示例数据:

library(data.table)
A <- data.table(id = letters[1:10], amount = rnorm(10)^2)
B <- data.table(id = c("c", "d", "e"), comment = c("big", "slow", "nice"))

【问题讨论】:

  • 如果要原地分配列,使用第二种方法
  • 你不能用merge:merge(A, B, all.x = TRUE)
  • 您将输出分配给标识符'A,并且内存位置应该不同
  • 我们不知道您会使用什么标准来选择一个胜过另一个。如果您想了解通过引用分配/更新的案例,您可以阅读包小插曲。这是我的工作流程中唯一出现的连接,通常像 A[, comment := B[.SD, on=.(id), x.comment]]
  • @Frank 谢谢,我不知道你可以这样使用.SD!刚刚根据我的标准编辑了一些词

标签: r data.table


【解决方案1】:

出于效率和可维护性的考虑,我更喜欢“update join”习惯用法:**

DT[WHERE, v := FROM[.SD, on=, x.v]]

它是vignette("datatable-reference-semantics") 中“通过引用更新某些列的行 - sub-assign 通过引用”中所示内容的扩展。一旦在连接上有可用的小插图,那也应该是一个很好的参考。

这是有效的,因为它只使用WHERE 选择的行并就地修改或添加列,而不是像更简洁的左连接FROM[DT, on=] 那样创建新表。

它使我的代码更具可读性,因为我可以很容易地看到连接点是添加列v;而且我不必考虑 SQL 中的“左”/“右”行话,或者在加入后是否保留行数。

这对于代码维护很有用,因为如果我以后想知道 DT 是如何得到一个名为 v 的列的,我可以在我的代码中搜索 v :=,而 FROM[DT, on=] 会掩盖正在添加的新列.此外,它允许WHERE 条件,而左连接不允许。这可能很有用,例如using FROM to "fill" NAs in an existing column v。


与其他更新加入方式DT[FROM, on=, v := i.v]相比,我能想到两个优点。首先是使用WHERE 子句的选项,其次是在连接出现问题时通过警告的透明度,例如FROM 中的重复匹配以on= 规则为条件。这是扩展 OP 示例的插图:

library(data.table)
A <- data.table(id = letters[1:10], amount = rnorm(10)^2)
B2 <- data.table(
  id = c("c", "d", "e", "e"), 
  ord = 1:4, 
  comment = c("big", "slow", "nice", "nooice")
)

# left-joiny update
A[B2, on=.(id), comment := i.comment, verbose=TRUE]
# Calculated ad hoc index in 0.000s elapsed (0.000s cpu) 
# Starting bmerge ...done in 0.000s elapsed (0.000s cpu) 
# Detected that j uses these columns: comment,i.comment 
# Assigning to 4 row subset of 10 rows

# my preferred update
A[, comment2 := B2[A, on=.(id), x.comment]]
# Warning message:
# In `[.data.table`(A, , `:=`(comment2, B2[A, on = .(id), x.comment])) :
#   Supplied 11 items to be assigned to 10 items of column 'comment2' (1 unused)

    id     amount comment comment2
 1:  a 0.20000990    <NA>     <NA>
 2:  b 1.42146573    <NA>     <NA>
 3:  c 0.73047544     big      big
 4:  d 0.04128676    slow     slow
 5:  e 0.82195377  nooice     nice
 6:  f 0.39013550    <NA>   nooice
 7:  g 0.27019768    <NA>     <NA>
 8:  h 0.36017876    <NA>     <NA>
 9:  i 1.81865721    <NA>     <NA>
10:  j 4.86711754    <NA>     <NA>

在left-join-flavored 更新中,即使id == "e" 有两个匹配项,您也会默默地获得comment 的最终值;而在另一个更新中,您会收到一条有用的警告消息(升级到an error in a future release)。即使使用 left-joiny 方法打开 verbose=TRUE 也没有提供信息——它说有四行正在更新,但没有说一行正在更新两次。


我发现当我的数据被安排到一组整洁/关系表中时,这种方法效果最好。一个很好的参考是Hadley Wickham's paper。

** 在此成语中,on= 部分应填写连接列名称和规则,如on=.(id) 或on=.(from_date &gt;= dt_date)。可以使用roll=、mult= 和nomatch= 传递更多连接规则。有关详细信息,请参阅?data.table。感谢@RYoda 在 cmets 中指出这一点。

这是一个来自 Matt Dowle 的更复杂的例子,他解释了roll=:Find time to nearest occurrence of particular value for each row

另一个相关例子:Left join using data.table

【讨论】:

  • 只是一个附录:on= 部分必须填写连接列名称(例如on=.(id)。PS:很好的答案!
  • 感谢您的回答!两个 cmets/问题:(1)我确实看到了您的方法的美妙之处,但它是否比第二个原始选项(v := i.v)有所改进? (2) SQL 术语,不比 SQL...wiki/Relational_algebra 大吗?我认为最好有一套一致的词汇(行话?),可以用来在这样的地方进行交流。
  • @snoram 对于 (1),我进行了编辑以添加几个原因。对于(2),我想这部分是偏好和背景的问题。对于一组规范化的表,我从来没有发现需要各种 SQL 连接(外部、内部、完整、左、右等)或它们背后的术语......并且有点怀疑工作流程中效率低下这需要它们(数据清理之外)。我对集合论有些熟悉,并且喜欢关系代数术语(联合、半、等值、反连接等)
  • @Frank 我认为您的回答是与 data.table 连接的一个非常好的资源。最近更新到版本 1.12.3,现在当我使用 A[, comment2 := B2[A, on=.(id), x.comment]] 说:提供了 11 项以分配给列“comment2”的 10 项时出现错误。如果您希望“回收”RHS,请使用 rep() 向您的代码读者明确说明这一意图。
  • @markus 谢谢 :) 如果 B2 的某些 id 有重复的行,则会发生该错误。您可以使用mult="first" 或mult="last" 以这种方式选择一个值,或者通过诸如A[, comment2 := B2[A, on=.(id), max(x.comment), by=.EACHI]$V1] 之类的某些函数计算所选值。让我知道它是否没有意义
猜你喜欢
  • 2017-04-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-10-17
  • 1970-01-01
相关资源
最近更新 更多