从 R 中的大型 XML 文件中提取数据的最有效方法

Question

我有一些大的（约 10 GB 并且每周都在增长），我需要将它们从 XML 转换为 R 中的数据框以进行分析。 XML 的结构如下（多条记录，每条记录多一些字段元素）：

<recordGroup>
  <records>
    <record>
      <recordId>123442</recordId>
      <reportingCountry>PT</reportingCountry>
      <date>2020-02-20</date>
      <field>
        <fieldName>Gender</fieldName>
        <fieldValue>F</fieldValue>
      </field>
      <field>
        <fieldName>Age</fieldName>
        <fieldValue>57</fieldValue>
      </field>
      <field>
        <fieldName>ClinicalSymptoms</fieldName>
        <fieldValue>COUGH</fieldValue>
        <fieldValue>FEVER</fieldValue>
        <fieldValue>O</fieldValue>
        <fieldValue>RUNOS</fieldValue>
        <fieldValue>SBREATH</fieldValue>
      </field>
    </record>
  </records>
</recordGroup>

我一直在尝试找到提取数据并将它们转换为 data.frame 的最有效方法，但是一个主要挑战是文件非常大，并且 XML 和 XML2 都会遇到问题，这需要花费数小时来处理。我目前的策略是使用下面的代码使用xmlEventParse，但这似乎效率更低。

value_df <- data.frame(recordId = as.character(), vardf = as.character(), value = as.character())
nvar <- 0

xmlEventParse(xmlDoc_clean,
              list(
                startElement = function (name, attrs) {
                  tagName <<- name
                },
                text = function (x) {
                  if (nchar(x) > 0) {
                    if (tagName == "recordId") {
                      rec <<- x
                    } else
                    if (tagName == "fieldName") {
                      var_f <<- x
                    } else {
                      if (tagName == 'fieldValue') {
                        v <- x
                         nvar <<- nvar + 1
                       value_df[nvar, 1:3] <<- c(rec, var_f, v)
                      }
                    }
                  }
                },
                endElement = function (name) {
                  if (name == 'record') {
                    print(nvar)
                  }
                }
              ))

我已经尝试过 XML2（内存问题）、XML（内存问题以及标准 DOM 解析），并且还打算尝试使用 XMLSchema，但没有设法让它工作。如果文件被拆分，XML 和 XML2 都可以工作。

由于我正在处理的文件每周都在变大，因此我将不胜感激有关提高效率的任何指导。我在 linux 机器上使用 R。

Answer 1

当内存成为挑战时，请考虑使用硬盘。具体来说，考虑在xmlEventParse 运行中通过write.csv 迭代追加调用构建提取的已解析XML 数据的大型CSV 版本：

# INITIALIZE EMPTY CSV WITH EMPTY ROW
csv <- file.path("C:", "Path", "To", "Large.csv")
fileConn <- file(csv); writeLines(paste0("id,tag,text"), fileConn); close(fileConn)

i <- 0
doc <- file.path("C:", "Path", "To", "Large.xml")
output <- xmlEventParse(doc,
                        list(startElement=function(name, attrs){
                          if(name == "recordId") {i <<- i + 1}
                          tagName <<- name
                        }, text=function(x) {
                          if(nchar(trimws(x)) > 0) {
                            write.table(data.frame(id=i, tag=tagName, text=x), 
                                        file=csv, append=TRUE, sep=",", 
                                        row.names=FALSE, col.names=FALSE)
                          }
                        }),
                        useTagName=FALSE, addContext=FALSE)

输出

显然，正确的行/列迁移需要进一步的数据整理。但是您现在可以使用现有的许多工具或通过块读取大型 CSV。

id,tag,text
1,"recordId","123442"
1,"reportingCountry","PT"
1,"date","2020-02-20"
1,"fieldName","Gender"
1,"fieldValue","F"
1,"fieldName","Age"
1,"fieldValue","57"
1,"fieldName","ClinicalSymptoms"
1,"fieldValue","COUGH"
1,"fieldValue","FEVER"
1,"fieldValue","O"
1,"fieldValue","RUNOS"
1,"fieldValue","SBREATH"

Answer 2

最后我发现最快的方法如下：

1. 使用 XML2 将 XML 文件分割成更小的块。我正在处理的服务器上有超过 100GB 的 RAM，因此可以使用 foreach 与 6 名工作人员并行处理此过程，但里程会因可用 RAM 的大小而异。
2. 拆分文件的函数返回一个 data.frame，其中包含拆分文件的位置。
3. 在foreach 循环中处理较小的 XML 文件 - 这次可以使用所有内核，所以我使用了 12 个工作人员。处理使用 XML2，因为我发现这是最快的方式。最初提取的数据是长格式，但随后我在循环内转换为宽格式。
4. 循环将不同的数据帧绑定并输出到一个大数据帧中。最后一步是使用fwrite 保存 csv 文件。这似乎是最有效的方式。

使用这种方法，我可以在 6.5 分钟内处理一个 2.6GB 的 XML 文件。

我最终会添加代码，但它非常具体，所以需要概括一下。