R 解析 XML 总是返回 XML 声明错误

Question

我是 XML 新手。 我从谷歌驱动器下载了一个名为 ipg140722 的 XML 文件，http://www.google.com/googlebooks/uspto-patents-grants-text.html , 我用的是 Window 8.1, R 3.1.1,

library(XML)
url<- "E:\\clouddownload\\R-download\\ipg140722.xml"
indata<- xmlTreeParse(url)

XML declaration allowed only at the start of the document
Extra content at the end of the document
error: 1: XML declaration allowed only at the start of the document
2: Extra content at the end of the document

  what is the problem

Answer 1

注意：这篇文章是根据原始版本编辑的。

这里的对象教训是，仅仅因为文件具有 xml 扩展名并不意味着它是格式良好的 XML。

如果@MartinMorgan 对该文件的看法正确，Google 似乎已将 2014 年 7 月 22 日（上周）这一周批准的所有专利转换为 XML，将它们串在一起形成一个文本文件，然后鉴于xml 扩展。显然，这不是格式良好的 XML。所以挑战是解构那个文件。在这里可以在 R 中完成。

lines   <- readLines("ipg140722.xml")
start   <- grep('<?xml version="1.0" encoding="UTF-8"?>',lines,fixed=T)
end     <- c(start[-1]-1,length(lines))
library(XML)
get.xml <- function(i) {
  txt <- paste(lines[start[i]:end[i]],collapse="\n")
  # print(i)
  xmlTreeParse(txt,asText=T)
  # return(i)
}
docs <- lapply(1:10,get.xml)
class(docs[[1]])
# [1] "XMLInternalDocument" "XMLAbstractDocument"

所以现在docs 是已解析的 XML 文档的列表。这些可以单独访问，例如docs[[1]]，或者使用类似下面的代码集体访问，从每个文档中提取发明标题。

sapply(docs,function(doc) xmlValue(doc["//invention-title"][[1]]))
#  [1] "Phallus retention harness"                          "Dress/coat"                                        
#  [3] "Shirt"                                              "Shirt"                                             
#  [5] "Sandal"                                             "Shoe"                                              
#  [7] "Footwear"                                           "Flexible athletic shoe sole"                       
#  [9] "Shoe outsole with a surface ornamentation contrast" "Shoe sole"                                         

不，我确实没有编造了第一个专利的名称。

对 OP 评论的回应

我的原始帖子，检测到新文档的开始使用：

start   <- grep("xml version",lines,fixed=T)

太天真了：原来短语“xml 版本”出现在某些专利的文本中。因此，这过早地破坏了（某些）文档，导致 XML 格式错误。上面的代码解决了这个问题。如果您取消注释函数 get.xml(...) 中的两行并使用

运行上面的代码

docs <- lapply(1:length(start),get.xml)

您将看到所有 6961 个文档都正确解析。

但是还有另一个问题：解析的 XML 非常大，所以如果您将这些行保留为 cmets 并尝试解析完整集，您会在大约一半的时候耗尽内存（或者我确实在 8GB 系统上） ）。有两种方法可以解决这个问题。第一种是按块进行解析（例如一次 2000 个文档）。第二种是在 get.xml(...) 中提取 CSV 文件所需的任何信息，并在每个步骤中丢弃已解析的文档。