连接被对方拒绝：111：连接被拒绝。在 linux 服务器中使用 Scrapy Crawlera 时答案

【问题标题】：Connection was refused by other side: 111: Connection refused. when using Scrapy Crawlera in a linux server连接被对方拒绝：111：连接被拒绝。在 linux 服务器中使用 Scrapy Crawlera 时
【发布时间】：2019-03-22 19:22:03
【问题描述】：

Scrapy Crawlera 在我的 Windows 机器上运行良好，但是当我在我的 linux 服务器上运行它时出现错误 111。这是为什么呢？

当我使用 curl 时，我得到了这个错误： curl: (7) Failed connect to proxy.crawlera.com:8010; Connection refused

【问题讨论】：

无论你在使用什么，都尝试切换到 HTTPS 或 HTTP

标签： python web-scraping scrapy screen-scraping crawlera

【解决方案1】：

事实证明，在处理端口时，如果 CPanel（或者可能是 Linux？）未在防火墙中列入白名单，则默认情况下会阻止端口。自从我使用CPanel以来，我通过WHM打开它，现在一切正常。

【讨论】：

【解决方案2】：

它很可能与 Windows 或 Linux 无关，但与 Scrapy 的 user-agent 有关。尝试做某事。像这样在settings.py:

USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.7

【讨论】：

那为什么它可以在 Windows 中工作呢？而且我已经使用 Scrapy Fake User Agent 自动设置随机用户代理
@AminahNuraini proxy.crawlera.com 是代理服务器，user agent 绝对不是问题。我想这取决于crawlera 本身。也许它们会限制您与一种或某种其他机制的联系。尝试等待一段时间或向他们寻求帮助。