Scrapy Twisted ConnectionLost 错误

Question

我正在学习scrapy，并且很难弄清楚这个问题。我的蜘蛛爬不上梅西的网站，一直报如下错误：

[<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]

到目前为止我尝试过的事情：

1. 设置标题和 robotstxt 遵守此线程： Scrapy Shell: twisted.internet.error.ConnectionLost although USER_AGENT is set
2. 按此线程更改用户代理： How to prevent a twisted.internet.error.ConnectionLost error when using Scrapy?
3. 密码学 Scrapy twisted connection lost in non-clean fashion. No proxy. Already tried headers
4. 猴子补丁： Twisted Python Failure - Scrapy Issues

我还在命令提示符中检查了scrapy shell“www.macys.com”并得到了同样的错误。所以我猜问题不在于我的蜘蛛。有人可以帮忙吗？

Answer 1

您的 IP 似乎正在启动您的爬虫已被列入黑名单。

您可能想阅读以下内容：https://doc.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned

此外，您可能需要调整 the settings 与 scrapy 输出的请求数有关：CONCURRENT_REQUESTS、DOWNLOAD_DELAY 等。