如何使用 Perl LWP 爬取欢迎页面？

Question

我正在尝试使用 Perl LWP 抓取此页面：

http://livingsocial.com/cities/86/deals/138811-hour-long-photo-session-cd-and-more

我有过去能够处理生活社交的代码，但它似乎已经停止工作。基本上这个想法是抓取页面一次，获取它的 cookie，在 UserAgent 中设置 cookie，然后再抓取两次。通过这样做，您可以通过欢迎页面：

$response = $browser->get($url);
$cookie_jar->extract_cookies($response);  
$browser->cookie_jar($cookie_jar);
$response = $browser->get($url);
$response = $browser->get($url);

这似乎已不再适用于普通的 LivingSocial 页面，但似乎仍适用于 LivinSocialEscapes。例如：

http://livingsocial.com/escapes/148029-cook-islands-hotel-+-airfare

关于如何通过欢迎页面的任何提示？

Answer 1

看起来此页面仅适用于支持 Javascript 的浏览器（LWP::UserAgent 不支持）您可以尝试使用WWW::Mechanize::Firefox：

use WWW::Mechanize::Firefox;
my $mech = WWW::Mechanize::Firefox->new();
$mech->get($url);

请注意，您必须安装 Firefox 和 mozrepl 扩展，此模块才能工作。