Perl：一些网站阻止非浏览器请求。但是怎么做？

Question

我正在编写一个简单的 Perl 脚本，它可以从不同的站点获取一些页面。这是非常非侵入性的。我不占用服务器带宽。它检索单个页面而不加载任何额外的 javascript、图像或样式表。

我使用 LWP::UserAgent 来检索页面。这在大多数网站上都可以正常工作，但有些网站会返回“403 - 错误请求”错误。相同的页面在我的浏览器中加载得很好。我已经从我的网络浏览器检查了请求标头，并在尝试在 Perl 中检索同一页面时准确地复制了该标头，并且每次我收到 403 错误。这是一个代码sn-p：

use strict;

use LWP::UserAgent;
use HTTP::Cookies;

my $URL = "https://www.betsson.com/en/casino/jackpots";

my $browserObj = LWP::UserAgent->new(
  ssl_opts => { verify_hostname => 0 }
);

# $browserObj->cookie_jar( {} );
my $cookie_jar = HTTP::Cookies->new();
$browserObj->cookie_jar( $cookie_jar );

$browserObj->agent( "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0");
$browserObj->timeout(600);
push @{ $browserObj->requests_redirectable }, 'POST';

my @header = ( 'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
               'Accept-Encoding' => 'gzip, deflate, br',
               'Accept-Language' => 'en-US,en;q=0.5',
               'Connection' => 'keep-alive',
               'DNT' => '1',
               'Host' => 'www.bettson.com',
               'Upgrade-Insecure-Requests' => '1'
             );

my $response = $browserObj->get( $URL, @header );
if( $response->is_success ) {
  print "Success!\n";
} else {
  print "Unsuccessfull...\n";
}

这些服务器如何区分真正的浏览器和我的脚本？起初我以为他们有一些 JavaScript 诡计正在发生，但后来我意识到为了让它工作，页面必须首先由浏览器加载。但我立即得到这个 403 错误。

我可以做些什么来调试这个？

Answer 1

虽然 403 是机器人检测的典型答案，但在这种情况下，机器人检测并不是问题的原因。相反，您的代码中的一个错字是：

my $URL = "https://www.betsson.com/en/casino/jackpots";
...
               'Host' => 'www.bettson.com',

在 URL 中，域名是 www.betsson.com，这应该反映在 Host 标头中。但是您的 Host 标头略有不同：www.bettson.com。由于 Host 标头的名称错误，因此请求被拒绝并 403 禁止。

实际上，甚至不需要经历所有这些麻烦，因为看起来根本没有进行机器人检测。 IE。无需设置用户代理和摆弄标题，但很简单：

my $browserObj = LWP::UserAgent->new();
my $response = $browserObj->get($URL);