Scrapy crawlera 身份验证问题答案

【问题标题】：Scrapy crawlera authentication issueScrapy crawlera 身份验证问题
【发布时间】：2021-06-07 04:01:57
【问题描述】：

我一直在尝试使用 scrapy-crawlera 作为使用 scrapy 抓取一些数据的代理。我在 settings.py 中添加了这些行：

DOWNLOADER_MIDDLEWARES = { 'scrapy_crawlera.CrawleraMiddleware': 610, } 
CRAWLERA_ENABLED = True 
CRAWLERA_APIKEY = 'MY_CRAWLERA_API_KEY'

在新更改的 scrapinghub 网站 app.zyte.com 中，我创建了一个智能代理管理器帐户，我的 api 密钥来自我的帐户设置。

我收到此警告 WARNING: Retrying crawlera request for authentication issue 并且网站没有被抓取。

是不是我做错了什么？

【问题讨论】：

【解决方案1】：

这似乎是一个显而易见的答案，但我遇到了这个问题，并通过确保我使用的 API 密钥正确来解决它。就我而言，发给我的第一个 API 密钥 Zyte 没有被激活。我回到我的帐户控制台并在那里复制了 API 密钥（它是不同的）。

因此，请确保您使用的是正确的键或尝试在控制台中创建一个新键。

【讨论】：