使用 perl 抓取网站的 JS 内容

Question

我正在废弃这个site 并正在寻找代码示例来帮助我弄清楚如何检索这个JSP 控件内部的信息（这比使用常规文本要困难得多！）。我似乎没有找到任何与 HTTP 标头有关的东西。到目前为止，这是我的代码：

 my $mech_r = new WWW::Mechanize();

 my $uri = 'http://global.krx.co.kr/contents/GLB/02/0203/0203000000/GLB0203000000.jsp';
 print "Getting '$uri'\n";
 my $page = $mech_r->get($uri);

 print "Parsing data...";
 my $root = HTML::TreeBuilder->new_from_content($mech_r->content());

 my ($news_table) = $root->look_down(
     sub {
         defined($_[0]->tag()) and
         $_[0]->tag() eq 'ul' and
         defined($_[0]->attr('class')) and
         $_[0]->attr('class') eq 'board-list'
     }
 );

 if (!defined($news_table)) {
     print Dumper($root);

     croak "Could not get the news table";
 }

我想获取标题、日期和链接。

但由于 javascript 正在加载，因此没有获取任何数据。

Answer 1

如文档所述，WWW::Mechanize 不处理 JavaScript。试试WWW::Mechanize::Firefox、WWW::Scripter、WWW::Selenium、WWW::Mechanize::PhantomJS 或类似的。