在 data.table 中查找与表头相同的行

Question

我正在阅读带有 fread 的巨大 csv 文件。数据格式不正确，并且标题不时重复。我现在想删除文件中的标题，因此，我必须搜索内容等于标题的行。

我可以想到两种解决方案，但都不是最优的：

1. 选项 1 假定所有非标题重复行至少在一个位置上相互不同
2. 选项 2 非常冗长，需要大量写作

基本上我需要一种循环遍历所有列并将它们与标题进行比较。

因此，整个事情归结为一个问题：

如何在数据表中找到特定行无需硬编码过滤器？

代码

library(data.table)
foo <- data.frame(a = c(1:2, "a", 1:2, "a"), b = c(letters[1:2], "b", letters[2:1], "b"),
                  stringsAsFactors = FALSE)
setDT(foo)

## option 1: use duplicates, assuming that each row is otherwise unique
foo[-(which(duplicated(rbind(as.list(names(foo)), foo))) - 1)]

## option 2: compare directly, but becomes very cumbersome with growing number of columns
foo[!(a == names(foo)[1] & b == names(foo)[2])]

Answer 1

反加入：

setkeyv(foo, names(foo)) # Reordes data though
foo[!list(names(foo))]

   a b
1: 1 a
2: 1 b
3: 2 a
4: 2 b

无需设置键：

nfoo <- names(foo)
foo[!setNames(as.list(nfoo), nfoo), on = nfoo]

Answer 2

由于错位的标题与实际标题重复相同，因此我们只需要比较第一列，即您的选项 2，但只检查第一（或任何）列：

foo[ !(a == names(foo)[1]), ]

或使用 grep 删除 R 外部的标头，例如：

fread("grep -v myCol1 myfile.txt")

或者粘贴每一行，与表头比较：

foo[ do.call(paste, c(foo, list(sep = "_"))) != paste(colnames(foo), collapse = "_"), ]

我更喜欢使用第二个选项，这样我们就不会遇到使用其他“after-fread”解决方案时遇到的列类问题。