如何在使用 cElementTree.iterparse() 时跳过引发错误的节点

Question

我正在尝试解析一个非常大的 XML 文件并使用小写字母并删除标点符号。 问题是，当我尝试使用 cET parse function 为大文件解析此文件时，有时会遇到格式错误的标签或字符，从而引发 syntax error：

SyntaxError: not well-formed (invalid token): line 639337, column 4

注意：我几乎不可能读取文件，所以我看不出问题出在哪里。

我怎样才能跳过或解决这个问题？

from xml.etree import cElementTree as cET

for event, elem in cET.iterparse(xmlFile, events=("start", "end")):
    ...do something...

Answer 1

使用lxml代替标准库ElementTree；它支持相同的 API，但可以处理损坏的 XML；如果可能，它会尝试修复它：

parser = etree.XMLParser(recover=True)
context = etree.iterparse(filename, parser)

Answer 2

您可以使用xmllint 之类的工具来验证和清理您的 XML。此工具报告的错误应该可以帮助您修复 XML 文件。

编辑：一个例子：

$ cat invalid.xml 
<?xml version="1.0"?>
<foo>
<bar>
</foo>
$ xmllint invalid.xml 
invalid.xml:4: parser error : Opening and ending tag mismatch: bar line 3 and foo
</foo>
      ^
invalid.xml:5: parser error : Premature end of data in tag foo line 2

^