【问题标题】:How can I set a country limit in my proxy?如何在代理中设置国家/地区限制?
【发布时间】:2019-04-16 07:18:24
【问题描述】:

我使用 Scrapy 进行网页抓取,使用 Polipo 作为代理,使用 Tor 作为网络。 我知道我的代理会产生轮换 IP,但 IP 位置大部分时间都在我的国家之外。在我抓取的网站上,考虑到 IP 的位置,它可能会受到一些阻碍。 那么,如何保持循环IP规则并限制使用IP的位置?

Scrapy 版本:1.5.0,Python 版本:2.7.9,Tor 版本:0.3.4.8,Vidalia:0.2.21

【问题讨论】:

    标签: proxy scrapy ip tor polipo


    【解决方案1】:

    您很可能知道这一点,但您正在抓取的网站的最终 ip 将看到退出节点的 ip。这样你就可以控制出口节点using configuration的国家/地区了

    您可以运行多个 tor 设置,并在您的请求集中混合匹配或轮换 tor 服务。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-01-07
      • 2022-01-23
      • 2012-01-21
      • 1970-01-01
      • 2014-10-29
      • 1970-01-01
      • 2017-12-23
      相关资源
      最近更新 更多