如何使用scrapy在代理上进行代理（2层）？答案

【问题标题】：How to do proxy over proxy (2 layers) by using scrapy?如何使用scrapy在代理上进行代理（2层）？
【发布时间】：2016-05-13 19:52:47
【问题描述】：

如何使用scrapy 在代理上进行代理（2 层）？我假设这里是 http/https 代理。

比如我的本地机器-->proxy1-->proxy2-->我要爬取的站点。如何在scrapy中做到这一点？

我为什么要这样做？

目标是隐藏我的 IP 地址。你可以认为proxy1很靠谱，但是被我要爬的网站屏蔽了。而且proxy2不可靠，但可以访问我要抓取的站点。

我可以做我的本地机器 -->proxy2 --> 我想爬的网站。但是因为proxy2不可靠，所以我可以把我的ip地址暴露给我想爬的站点。所以我想在proxy2之前再加一层来保护它。

【问题讨论】：

【解决方案1】：

为了什么？要隐藏您的 IP 地址，您可以使用高匿名代理。高匿名代理会掩盖您的 IP，并用自己的 IP 替换它。但是，您访问的服务器可能仍然能够检测到您的真实 IP。这不太可能，但添加代码来检测底层 IP 地址的服务器可能会检测到您的 IP。

【讨论】：

是的，目标是隐藏我的IP地址。你可以认为proxy1很可靠，但是被我要爬的站点屏蔽了，proxy2不可靠，可以访问我要爬的站点。我可以做我的本地机器 -->proxy2 --> 我想爬的网站。但是因为proxy2不可靠，所以我可以把我的ip地址暴露给我想爬的站点。所以我想在proxy2之前再加一层来保护它。