scrapy请求中的代理身份验证

【问题标题】：Proxy authentication in scrapy requestscrapy请求中的代理身份验证
【发布时间】：2017-06-30 11:30:49
【问题描述】：

我正在尝试使用请求对象抓取一个带有scrapy 的网站。我通过需要身份验证的代理连接到 Internet，并且此身份验证阻止我抓取网站： DEBUG: Crawled (400) <GET http://auth4/robots.txt> (referer: None)

如何在代理中进行身份验证或跳过它以访问网站？

谢谢！！

【问题讨论】：

【解决方案1】：

我认为您需要设置用户代理。尝试将用户代理设置为'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0' 在settings.py

【讨论】：