如何在 Perl 中轻松解析 <div class ="foo"> 和 </div>

Question

我想将网站解析为 Perl 数据结构。 首先我加载页面

use LWP::Simple;
my $html = get("http://f.oo");

现在我知道了两种处理方法。 首先是正则表达式和模块。

我从阅读HTML::Parser 开始，并找到了一些示例。 但是根据 Perl 知识，我不太确定。

我的代码示例继续

my @links;

my $p = HTML::Parser->new();
$p->handler(start => \&start_handler,"tagname,attr,self");
$p->parse($html);

foreach my $link(@links){
  print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n";
}

sub start_handler{
  return if(shift ne 'a');
  my ($class) = shift->{href};
  my $self = shift;
  my $text;
  $self->handler(text => sub{$text = shift;},"dtext");
  $self->handler(end => sub{push(@links,[$class,$text]) if(shift eq 'a')},"tagname");
}

我不明白为什么会有两次轮班。第二个应该是自指针。但第一个让我认为自引用已经是 shiftet，用作哈希，href 的值存储在$class 中。有人可以解释一下这条线(my ($class) = shift->{href};)吗？

除此之外，我不想解析所有的 URL，我想将 <div class ="foo"> 和 </div> 之间的所有代码放入一个字符串中，其中有很多代码，特别是其他 <div></div> 标记。所以我或一个模块必须找到正确的结束。 之后我打算再次扫描字符串，找到特殊的类，比如<h1>,<h2>, <p class ="foo2"></p>等。

我希望这些信息可以帮助你给我一些有用的建议，并且请记住，首先我想要一个简单易懂的方法，这在第一级不一定是一个很好的表现！

Answer 1

HTML::Parser 与其说是解析器，不如说是一个分词器。它给你留下了很多艰苦的工作。您是否考虑过使用HTML::TreeBuilder（使用HTML::Parser）或XML::LibXML（支持HTML 的优秀库）？

Answer 2

使用HTML::TokeParser::Simple。

根据您的描述未经测试的代码：

#!/usr/bin/env perl

use strict; use warnings;

use HTML::TokeParser::Simple;

my $p = HTML::TokeParser::Simple->new(url => 'http://example.com/example.html');

my $level;

while (my $tag = $p->get_tag('div')) {
    my $class = $tag->get_attr('class');
    next unless defined($class) and $class eq 'foo';

    $level += 1;

    while (my $token = $p->get_token) {
        $level += 1 if $token->is_start_tag('div');
        $level -= 1 if $token->is_end_tag('div');
        print $token->as_is;
        unless ($level) {
            last;
        }
    }
}

Answer 3

没必要这么复杂。您可以使用 CSS selectors 和 Mojo::UserAgent 在 DOM 中检索和查找元素：

say Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo');

或者，遍历找到的元素：

say $_ for Mojo::UserAgent->new->get('http://f.oo')->res->dom
    ->find('div.foo')->each;

或者，使用回调循环：

Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo')->each(sub {
  my ($count, $el) = @_;
  say "$count: $el";
});

Answer 4

根据文档，处理程序的签名是(\%attr, \@attr_seq, $text)。共有三个班次，每个参数一个班次。

my ($class) = shift->{href};

相当于：

my $class;
my %attr_seq;
my $attr_seq_ref;

$attr_seq_ref = shift;
%attr_seq = %$attr_seq_ref;
$class = $attr_seq{'href'};