在 PHP 中验证一个 ~400MB 的大型 XML 文件

Question

我有一个大型 XML 文件（大约 400MB），在开始处理之前我需要确保它格式正确。

我尝试的第一件事类似于下面的内容，这很好，因为我可以找出 XML 是否格式不正确以及 XML 的哪些部分是“坏的”

$doc = simplexml_load_string($xmlstr);
if (!$doc) {
    $errors = libxml_get_errors();

    foreach ($errors as $error) {
        echo display_xml_error($error);
    }

    libxml_clear_errors();
}

也试过了……

$doc->load( $tempFileName, LIBXML_DTDLOAD|LIBXML_DTDVALID )

我用一个大约 60MB 的文件对此进行了测试，但是任何更大的文件 (~400MB) 都会导致对我来说是新的“oom 杀手”的东西在似乎总是 30 秒后启动并终止脚本。

我认为我可能需要增加脚本上的内存，因此在处理 60MB 时计算出峰值使用量并相应地调整它，并关闭脚本时间限制以防万一。

set_time_limit(0);
ini_set('memory_limit', '512M');

不幸的是，这并没有奏效，因为如果内存负载（即使是正确的术语？）一直很高，oom 杀手似乎是一个 linux 的东西。

如果我能以某种方式以块的形式加载 xml，那就太好了，因为我想这会减少内存负载，这样 oom Killer 就不会把它的肥鼻子塞进去并杀死我的进程。

有没有人有任何验证大型 XML 文件并捕获其格式错误的错误的经验，我读过的很多帖子都指向 SAX 和 XMLReader，它们可能会解决我的问题。

更新 所以@chiborg 几乎为我解决了这个问题......这种方法的唯一缺点是我看不到文件中的所有错误，只是第一个失败的错误，我认为这是有道理的，因为我认为它无法解析失败的第一个点。

当使用 simplexml...它能够捕获文件中的大部分问题并在最后向我展示这很好。

Answer 1

由于 SimpleXML 和 DOM API 总是将文档加载到内存中，因此使用像 SAX 或 XMLReader 这样的流解析器是更好的方法。

修改example page中的代码，它可能看起来像这样：

$xml_parser = xml_parser_create();
if (!($fp = fopen($file, "r"))) {
    die("could not open XML input");
}

while ($data = fread($fp, 4096)) {
    if (!xml_parse($xml_parser, $data, feof($fp))) {
        $errors[] = array(
                    xml_error_string(xml_get_error_code($xml_parser)),
                    xml_get_current_line_number($xml_parser));
    }
}
xml_parser_free($xml_parser);

Answer 2

对于大文件，最好使用 XMLReader 类。

但如果喜欢 simplexml 语法：https://github.com/dkrnl/SimpleXMLReader/blob/master/library/SimpleXMLReader.php 使用示例：http://github.com/dkrnl/SimpleXMLReader/blob/master/examples/example1.php