身份验证失败 - 999 - HTTP 状态代码未处理或不允许

Question

我使用scrapy，我想获得忽略响应 URL。我只是在输出控制台中看到：

调试：忽略响应 https://www.mywebsite.com>：HTTP 状态代码未处理或不允许。

Answer 1

根据文档here，您可以添加一个 HTTP 状态代码列表，即使默认情况下不允许这些代码，您的蜘蛛也应该处理这些代码。

在您的情况下，您必须在蜘蛛定义中添加以下行：

handle_httpstatus_list = [999]

这将导致即使有这个状态码的蜘蛛也能得到结果。

下次在提出问题之前，请通过 StackOverflow 查看类似问题并阅读文档。放一些代码让我们知道你的错误发生在哪里也不会错。没有这些信息，社区很少能给出任何答案。