Scrapy - 使用代理中间件但禁用特定请求的代理答案

【问题标题】：Scrapy - Use proxy middleware but disable proxy for specific requestsScrapy - 使用代理中间件但禁用特定请求的代理
【发布时间】：2017-01-18 19:28:50
【问题描述】：

我想在我的 Scrapy 中使用代理中间件，但不是每个请求都需要代理。我不想滥用代理使用而使代理容易被禁止。

当代理中间件打开时，我有没有办法在某些请求中禁用代理？

【问题讨论】：

【解决方案1】：

我们可以添加dont_proxy meta 并在请求时将其设置为 true

yield scrapy.Request(
    url, 
    meta={"dont_proxy": True}, 
    callback=self.parse
)

【讨论】：

【解决方案2】：

它在docs 中。

您可以将每个请求的元键 proxy 设置为 http://some_proxy_server:port 之类的值。

【讨论】：