从 Google 洞察下载 .csv 文件以使用 Perl 进行搜索时出现问题

Question

我正在尝试使用 perl 从 google 搜索洞察 下载 .csv 文件。但是我遇到了两个问题：

1. 下载地址好像是重定向的，所以不能用LWP模块下载。 网址是 “http://www.google.com/insights/search/overviewReport?q=dizzy&date=1%2F2012%205m&cmpt=date&content=1&export=1”。你可以试试，应该先登录。

2. 看来我必须在下载之前存储会话。如果不这样做，我会收到警告 - 例如“达到配额限制”。

如何使用 PERL 自动下载此 .csv 文件？感谢您的帮助。

这是我的代码：

#create userAgent object
my $ua = LWP::UserAgent->new;
$ua->agent("MyApp/0.1 ");

#create a request
my $req = HTTP::Request->new(GET => 'http://www.google.com/insights/search/overviewReport?q=dizzy&date=1%2F2012%205m&cmpt=date&content=1&export=1');

my $res = $ua->request($req);

#check the outcome of the response
if($res->is_success) {
    print $res->content;
}
else {
    print $res->status_line, "\n";
}    

Answer 1

我强烈建议您使用 WWW::Mechanize 进行网络自动化（这是高级 LWP::UserAgent）：

#!/usr/bin/perl

use strict;
use warnings;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new();
$mech->agent_alias("Windows IE 6");

$mech->get("https://accounts.google.com/serviceLogin");
$mech->submit_form(

    form_id => "gaia_loginform",
    fields => {

        Email => 'gangabass@gmail.com',
        Passwd => 'password',
    },
    button => "signIn",
);

$mech->get("http://www.google.com/insights/search/overviewReport?q=dizzy&date=1%2F2012%205m&cmpt=date&content=1&export=1");
open my $fh, ">:encoding(utf8)", "report.csv" or die $!;
print {$fh} $mech->content();
close $fh;