从日志中提取特定模式

Question

我需要从如下所示的日志文件中提取请求：

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<vehicleRegistration>
.... XML in between ....
.... XML in between ....
.... XML in between ....
.... XML in between ....
... at nth line there is line like this <vehicle id="2312313"></vehicle>
.... XML in between ....
.... XML in between ....
</vehicleRegistration>

重要的问题是vehicleRegistration 可以是5 行，有时是17 行，它是可变的。这是我当前的 grep 失败的地方，我使用了：

grep -A 13 "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>" vehicle.log

另一个问题是，有时一个请求可能会被发送 2 次或更多次，因为该服务可能由于某种原因不可用，因此文件中可能存在相同的多个请求。

我还应该排除重复请求，通过比较第 n 行（不是最后一行）<vehicle id="2312313"></vehicle>，如果车辆 id 重复而不是重复，则可以知道请求是重复的。

你会用什么方法来解决这个问题？建议，代码，伪代码，任何东西都欢迎。

编辑：

日志文件不是 xml 文件，它只是一个包含一小部分 xml 请求的文件，我无法将其解析为 XML

编辑二：

我只提取了车辆注册部分，使用@eugene y 一行命令perl -nle 'm{<vehicleRegistration>} .. m{</vehicleRegistration>} and print' logfile ，我怎样才能摆脱重复，那些具有相同车辆id的节点，我只想保留一个副本。

Answer 1

我会使用XML::Simple（或其他 XML 解析器）来提取数据。 Data::Dumper 可用于检查数据结构。

更新：您可以像这样提取vehicleRegistration 元素：

open my $fh, '<', 'logfile' or die $!;     
my $xml = ""; 

while (<$fh>) {
    if ( m{<vehicleRegistration>} .. m{</vehicleRegistration>}) {
        $xml .= $_; 
    }   
}

或者使用 perl 单行：

perl -nle 'm{<vehicleRegistration>} .. m{</vehicleRegistration>} and print' logfile

Answer 2

在 unix 中使用 awk 或 gawk 命令提取注册...

#!/usr/bin/awk -f 

/^<vehicleRegistration>/ { printit="true" } # set the print flag on
printit ~ "true" { print }                  # if printflag set print
/^</vehicleRegistration>{ printit="false" } # turn print flag off

Answer 3

使用XPath 恢复 XML 元素节点。有许多适用于各种现代脚本语言的框架。

使用 Perl，您可能会执行以下操作：

#!/usr/bin/perl

use strict;
use warnings;
use XML::XPath;

my $file = 'vehicleRegistration.xml';
my $xp = XML::XPath->new(filename => $file);

print "Vehicle id: ".$xp->find('//vehicle/@id')."\n";

如果需要，请解析日志文件以提取 XML 文档部分，然后对其运行 XPath 表达式以恢复所需的元素和数据。

Answer 4

使用XPath（并且取决于您想要对结果做什么，可能是Xslt）

有这方面的命令行实用程序，here, for example