一种过滤文本文件的算法

Question

假设您有一个具有以下结构的.txt 文件：

>>> header
>>> header
>>> header
K L M
200 0.1 1
201 0.8 1
202 0.01 3
...
800 0.4 2
>>> end of file
50 0.1 1
75 0.78 5
...

我想读取除>>> 表示的行和>>> end of file 行下方的行之外的所有数据。 到目前为止，我已经使用read.table(comment.char = ">", skip = x, nrow = y) 解决了这个问题（x 和y 目前已修复）。这会读取标题和>>> end of file 之间的数据。

但是，我想让我的函数在行数方面更具可塑性。数据的值可能大于 800，因此行数更多。

我可以scan 或readLines 文件并查看哪一行对应于>>> end of file 并计算要读取的行数。你会使用什么方法？

Answer 1

这是一种方法：

Lines <- readLines("foo.txt")
markers <- grepl(">", Lines)
want <- rle(markers)$lengths[1:2]
want <- seq.int(want[1] + 1, sum(want), by = 1)
read.table(textConnection(Lines[want]), sep = " ", header = TRUE)

这给出了：

> read.table(textConnection(Lines[want]), sep = " ", header = TRUE)
    K    L M
1 200 0.10 1
2 201 0.80 1
3 202 0.01 3
4 800 0.40 2

在您提供的数据 sn-p 上（在文件 foo.txt 中，并在删除 ... 行之后）。

Answer 2

这里有几种方法。

1) readLine 将文件的行读入L 并将skip 设置为开头要跳过的行数，并将end.of.file 设置为标记结尾的行的行号数据。然后read.table 命令使用这两个变量重新读取数据。

File <- "foo.txt"

L <- readLines(File)
skip <- grep("^.{0,2}[^>]", L)[1] - 1
end.of.file <- grep("^>>> end of file", L)

read.table(File, header = TRUE, skip = skip, nrow = end.of.file - skip - 2)

一种变体是在read.table 行中使用textConnection 代替File：

read.table(textConnection(L), header = TRUE, 
   skip = skip, nrow = end.of.file - skip - 2)

2) 另一种可能性是使用 sed 或 awk/gawk。考虑一下这一行 gawk 程序。如果程序看到标记数据结束的行，则程序退出；否则，如果该行以 >>> 开头，则它会跳过当前行，如果两者都没有发生，则打印该行。我们可以通过 gawk 程序管道 foo.txt 并使用 read.table 读取它。

cat("/^>>> end of file/ { exit }; /^>>>/ { next }; 1\n", file = "foo.awk")
read.table(pipe('gawk -f foo.awk foo.txt'), header = TRUE)

对此的一种变体是，我们可以省略 gawk 程序的 /^>>>/ {next}; 部分，它会跳过开头的 >>> 行，而是使用 comment = ">" in theread.table` 调用。