r 数据导入自定义标记

Question

我正在尝试将一系列自定义数据文件导入 R。

文件被组织成块，由类似 XML 的标记标签标记。我知道这些文件不是真正的 XML 文件，它们不包含标记语言的定义。

每个块可以是单行或制表符分隔的矩阵。评论往往用 % 标记

这些文件大约 10K 行长，每个文件我需要大约 2700 行，所以我宁愿避免循环。此外，文件长度和所需行数也会因一些不可预测的因素而有所不同。

我尝试了 XML 包中的一些方法，但总是遇到一堆错误，例如“StartTag：无效元素名称”和“标记 MERGED-PUPIL-DATA 行 5443 中的数据过早结束”。

你有什么想法吗？有没有接受自定义标记标签的方法？

一个典型的文件可能看起来像这样（点表示我剪掉的东西）

<SESSION>
<VERSION>
2
<\VERSION>
<DATE>
2014-01-20 14:29:43
<\DATE>
<SUBJECT-ID>
SUB001
<\SUBJECT-ID>
<NOTE>
red300os
<\NOTE>
<MIN-MAX-PLOT>
0.100000 8707.554688
<\MIN-MAX-PLOT>
<STIMULUS-DEFINED>
redOS300
Default Human Relative Spectral Sensitivity
1   0
1   10.000000   20.000000   60.000000   1   3   2.000000    -100.000000 0.000000    0.000000    1
<\STIMULUS-DEFINED>
.
.
.
.
.
.
<MERGED-PUPIL-DATA>
% time is in sec; diameter is in mm; loci is in pixel; color code -> 100 = unknown, 0 = white, 1 = red, 2 = green, 3 = blue; intensity is in Lux or W/m2
% real time logical time    R. valid    R. diameter R. x loci    R. y loci  L. valid    L. diameter L. x loci    L. y loci  R. led color     R. led intensity   L. led color    L. led intensity
2703
-0.049000   -0.049000   1   5.483765    266.668732  268.837402  1   5.441666    272.687500  272.724976  100 0.000000    100 0.000000
-0.018000   -0.018000   1   5.478448    265.918732  267.837402  1   5.438361    270.687500  273.406219  100 0.000000    100 0.000000
.
.
.
.
89.932000   89.932000   1   5.604879    289.575165  273.574738  1   5.255306    301.056091  303.812744  3   0.000000    3   0.000000
89.964000   89.964000   1   5.650856    289.575165  269.574738  1   5.255306    301.056091  301.812744  3   0.000000    3   0.000000
<\MERGED-PUPIL-DATA>
.
.
.
<\SESSION>

Answer 1

除非您首先进行搜索和替换，否则错误方向的斜杠会阻止任何使用 XML 处理的尝试。另一种方法是将文件按行读取并搜索标签。

读取数据文件：

txt = readLines("dummy.txt")

这是一个在匹配标签之间返回文本的函数，作为一个列表，以防有多个部分：

getSection <- function(txt, tag){
    start=paste0("^<",tag,">$")
    end = paste0("^<\\\\",tag,">$") 
    startLines = grep(start,txt)
    endLines = grep(end,txt)
    lapply(1:length(startLines),function(i){
        txt[(startLines[i]+1):(endLines[i]-1)]
    })
}

例如，测试文件包含：

<DATE>
2014-01-20 14:29:43
<\DATE>
<DATE>
Never!
<\DATE>

我明白了：

> getSection(txt,"DATE")
[[1]]
[1] "2014-01-20 14:29:43"

[[2]]
[1] "Never!"

建议您为要解析的各个部分编写包装此函数的函数，例如，我稍微编辑了您的文件以使该部分更具规律性：

<STIMULUS-DEFINED>
redOS300
Default Human Relative Spectral Sensitivity
1   10.000000   20.000000   60.000000   1   
3   2.000000    -100.000000 0.000000    0.000000 
<\STIMULUS-DEFINED>

然后写：

getStimulusDefined <- function(lines){
    section = getSection(lines,"STIMULUS-DEFINED")[[1]] # only one of these
    data = read.table(textConnection(section),skip=1,head=TRUE)
    data
}

所以我可以这样做：

> getStimulusDefined(txt)
  Default Human Relative Spectral Sensitivity
1       1    10       20       60           1
2       3     2     -100        0           0

然后我得到一个数据框（您需要根据您对该部分的理解重写它）。

如果标签是嵌套的，它会做一些奇怪的事情，但我怀疑这种文件格式会有这种情况。

它是否足够快/足够高效？在您对自己的数据进行尝试之前，我们不会知道，但这至少是一个解决方案。

Answer 2

对不起，我在这里搞得一团糟，但我是 Stackoverflow 的新手。我想对 Spacedman 的出色答案进行一些扩展，但无法在评论中获得我的代码。

我已经修改了 Spacedman 的函数，使其具有更通用的函数来读取数据帧。

startSkip 和 endSkip 参数可用于忽略每个块的开头和结尾处的行。

至少我的文件工作似乎相当快。

getSection <- function(file, tag,startSkip=0,endSkip=0){
  txt<-readLines(file)
  start=paste0("^<",tag,">$")
  end = paste0("^<\\\\",tag,">$") 
  startLines = grep(start,txt)
  endLines = grep(end,txt)
  noLines=endLines-startLines-startSkip-endSkip-1
  read.table(file,skip=startLines+startSkip,nrows=noLines)  
}