解析大型 XML 文件？答案

【问题标题】：Parsing large XML files?解析大型 XML 文件？
【发布时间】：2011-05-09 20:23:46
【问题描述】：

我有 2 个 xml 文件，其中 1 个大小为 115mb，另一个大小为 34mb。

Wiile 读取文件 A 有一个名为 desc 的字段，它与文件 B 相关，我从文件 B 中检索字段 id，其中 desc.file A 等于 name.file B。

文件A已经太大了，我必须在文件B里面搜索，而且需要很长时间才能完成。

我怎样才能加快这个过程，或者什么是更好的方法？

我正在使用的当前代码：

#!/usr/bin/perl

use strict;
use warnings;

use XML::Simple qw(:strict XMLin);

my $npcs = XMLin('Client/client_npcs.xml', KeyAttr => { }, ForceArray => [ 'npc_client' ]);
my $strings = XMLin('Client/client_strings.xml', KeyAttr => { }, ForceArray => [ 'string' ]);

my ($nameid,$rank);

open (my $fh, '>>', 'Output/npc_templates.xml');
print $fh "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<npc_templates xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xsi:noNamespaceSchemaLocation=\"npcs.xsd\">\n";
foreach my $npc ( @{ $npcs->{npc_client} } ) {
        if (defined $npc->{desc}) {
                foreach my $string (@{$strings->{string}}) {
                        if (defined $string->{name} && $string->{name} =~ /$npc->{desc}/i) {
                                $nameid = $string->{id};
                                last;
                        }
                }
        } else {
                $nameid = "";
        }

        if (defined $npc->{hpgauge_level} && $npc->{hpgauge_level} > 25 && $npc->{hpgauge_level} < 28) {
            $rank = 'LEGENDARY';
        } elsif (defined $npc->{hpgauge_level} && $npc->{hpgauge_level} > 21 && $npc->{hpgauge_level} < 23) {
            $rank = 'HERO';
        } elsif (defined $npc->{hpgauge_level} && $npc->{hpgauge_level} > 10 && $npc->{hpgauge_level} < 15) {
            $rank = 'ELITE';
        } elsif (defined $npc->{hpgauge_level} && $npc->{hpgauge_level} > 0 && $npc->{hpgauge_level} < 11) {
            $rank = 'NORMAL';
        } else {
            $rank = $gauge;
        }

        print $fh qq|\t<npc_template npc_id="$npc->{id}" name="$npc->{name}" name_id="$nameid" height="$npc->{scale}" rank="$rank" tribe="$npc->{tribe}" race="$npc->{race_type}" hp_gauge="$npc->{hpgauge_level}"/>\n|;
}
print $fh "</<npc_templates>";
close($fh);

文件A.xml示例：

<?xml version="1.0" encoding="utf-16"?>
<npc_clients>
  <npc_client>
    <id>200000</id>
    <name>SkillZone</name>
    <desc>STR_NPC_NO_NAME</desc>
    <dir>Monster/Worm</dir>
    <mesh>Worm</mesh>
    <material>mat_mob_reptile</material>
    <show_dmg_decal>0</show_dmg_decal>
    <ui_type>general</ui_type>
    <cursor_type>none</cursor_type>
    <hide_path>0</hide_path>
    <erect>1</erect>
    <bound_radius>
      <front>1.200000</front>
      <side>3.456000</side>
      <upper>3.000000</upper>
    </bound_radius>
    <scale>10</scale>
    <weapon_scale>100</weapon_scale>
    <altitude>0.000000</altitude>
    <stare_angle>75.000000</stare_angle>
    <stare_distance>20.000000</stare_distance>
    <move_speed_normal_walk>0.000000</move_speed_normal_walk>
    <art_org_move_speed_normal_walk>0.000000</art_org_move_speed_normal_walk>
    <move_speed_normal_run>0.000000</move_speed_normal_run>
    <move_speed_combat_run>0.000000</move_speed_combat_run>
    <art_org_speed_combat_run>0.000000</art_org_speed_combat_run>
    <in_time>0.100000</in_time>
    <out_time>0.500000</out_time>
    <neck_angle>90.000000</neck_angle>
    <spine_angle>10.000000</spine_angle>
    <ammo_bone>Bip01 Head</ammo_bone>
    <ammo_fx>skill_stoneshard.stoneshard.ammo</ammo_fx>
    <ammo_speed>50</ammo_speed>
    <pushed_range>0.000000</pushed_range>
    <hpgauge_level>3</hpgauge_level>
    <magical_skill_boost>0</magical_skill_boost>
    <attack_delay>2000</attack_delay>
    <ai_name>SummonSkillArea</ai_name>
    <tribe>General</tribe>
    <pet_ai_name>Pet</pet_ai_name>
    <sensory_range>15.000000</sensory_range>
  </npc_client>
</npc_clients>

文件B.xml示例：

<?xml version="1.0" encoding="utf-16"?>
<strings>
  <string>
    <id>350000</id>
    <name>STR_NPC_NO_NAME</name>
    <body> </body>
  </string>
</strings>

【问题讨论】：

标签： performance perl xml-parsing

【解决方案1】：

虽然我无法帮助您了解 Perl 代码的具体细节，但在处理大量 XML 数据时有一些通用指南。广义上讲，有 2 种 XML API - 基于 DOM 和基于 Stream。基于 Dom 的 API（如 XML DOM）将在用户级 API 变为“可用”之前将整个 XML 文档解析到内存中，而使用基于流的 API（如 SAX），实现不需要解析整个 XML 文档.基于流的解析器的一个好处是它们通常使用更少的内存，因为它们不需要一次将整个 XML 文档保存在内存中——这在处理大型 XML 文档时显然是一件好事。查看此处的 XML::Simple 文档，似乎有 may be SAX support available - 你试过了吗？

【讨论】：

在哪里可以找到 Some::SAX::Filter ？我已经安装了 XML::SAX 并按照该页面教程使用了 Some::SAX::Filter 但我无法掌握它。
如果您仔细阅读过文档，或者使用过该模块，您会注意到 XML::Simple 将整个文档加载到内存中。您读到的是它可以充当 SAX 过滤器（从 SAX 流获取它的输入并输出一个）。 DOM 和流对 XML 解析还有更多内容：首先 DOM 只是一种树处理类型，还有其他模式，然后还有其他模式：XML::LibXML 具有拉模式，XML::Twig 对树进行转换树的部分。所以总的来说，这不是一个很有帮助的答案。

【解决方案2】：

我不是 perl 人，所以对此持保留态度，但我发现 2 个问题：

您要遍历文件 B 中的所有值，直到找到文件 A 中每个元素的正确值为止，这一事实是低效的。相反，您应该对文件 B 中的值使用某种地图/字典。
看起来您在开始处理之前就已经解析了内存中的两个文件。文件 A 最好作为流处理，而不是将整个文档加载到内存中。

【讨论】：

你能给我举个第 1 项的例子吗？关于第 2 项，我现在正在处理，谢谢。
@Guapo：看这里：cs.mcgill.ca/~abatko/computers/programming/perl/howto/hash

【解决方案3】：

从文件 A 中获取所有有趣的“desc”字段并将它们放入哈希中。您只需解析一次，但如果仍然需要太长时间，请查看 XML::Twig。
解析文件 B. 一次并提取您需要的内容。使用哈希。

看起来您只需要部分 xml 文件。 XML::Twig 只能解析您感兴趣的元素，并使用“twig_roots”参数丢弃其余元素。 XML::Simple 虽然更容易上手..

【讨论】：

但我需要来自 fileA 的更多内容 :) 来自 fileA 的几乎所有字段，以及来自 fileB 的 ID 字段通过 desc name 字段连接到文件 A，文件 A 为 115mb，而文件 B 在附近34mb 感谢您的回答。

【解决方案4】：

这是XML::Twig 用法的示例。主要优点是它不会将整个文件保存在内存中，因此处理速度要快得多。下面的代码试图从问题中模拟脚本的操作。

use XML::Twig;

my %strings = ();
XML::Twig->new(
    twig_handlers => {
        'strings/string' => sub {
            $strings{ lc $_->first_child('name')->text }
                = $_->first_child('id')->text
        },
    }
)->parsefile('B.xml');

print "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<npc_templates xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xsi:noNamespaceSchemaLocation=\"npcs.xsd\">\n";
XML::Twig->new(
    twig_handlers => {
        'npc_client' => sub {
            my $nameid = eval { $strings{ lc $_->first_child('desc')->text } };

            # calculate rank as needed
            my $hpgauge_level = eval { $_->first_child('hpgauge_level')->text };
            $rank = $hpgauge_level >= 28 ? 'ERROR'
                  : $hpgauge_level  > 25 ? 'LEGENDARY'
                  : $hpgauge_level  > 21 ? 'HERO'
                  : $hpgauge_level  > 10 ? 'ELITE'
                  : $hpgauge_level  >  0 ? 'NORMAL'
                  :                        $hpgauge_level;

            my $npc_id    = eval { $_->first_child('id')->text };
            my $name      = eval { $_->first_child('name')->text };
            my $tribe     = eval { $_->first_child('tribe')->text };
            my $scale     = eval { $_->first_child('scale')->text };
            my $race_type = eval { $_->first_child('race_type')->text };
            print
                qq|\t<npc_template npc_id="$npc_id" name="$name" name_id="$nameid" height="$scale" rank="$rank" tribe="$tribe" race="$race_type" hp_gauge="$hpgauge_level"/>\n|;
            $_->purge;
        }
    }
)->parsefile('A.xml');
print "</<npc_templates>";

【讨论】：

+1 感谢非常有用的学习资料，非常感谢您解决我的麻烦:)