【问题标题】:How can I read a website as a different IP address?如何将网站读取为不同的 IP 地址?
【发布时间】:2011-03-24 12:13:52
【问题描述】:

我正在使用 Nokogiri 筛选一些网站。 我的网站托管在美国服务器上,因此当它获取网站时,网站的响应就像用户是美国用户一样。我需要网站像我是澳大利亚用户一样做出响应,即使服务器位于美国。 在本地运行时,它运行良好,因为在本地它的响应就像是澳大利亚的一样。

如何使用 Nokogiri 阅读网站,就好像我来自其他国家一样?

【问题讨论】:

  • 我认为您必须欺骗您的 IP 地址。我不认为open_uri 可以做到这一点。您必须在较低级别上进行操作。或者你可以通过代理。

标签: screen-scraping nokogiri open-uri


【解决方案1】:

您必须通过澳大利亚的代理运行您的请求。

这与 Nokogiri 没有任何关系 - 无论您如何尝试抓取页面,它都适用。 HTTP 通过 TCP 传输,这是一种双向协议,因此您无法欺骗其 IP 地址。如果您试图欺骗 TCP 数据包的 IP 地址,您将永远无法得到响应。

【讨论】:

    【解决方案2】:

    您可以将Tor 配置为始终使用出口节点from a specific country。但是,如果这会使 Tor 网络受到严重压力(即不断地获取页面),请不要使用此方法;在这种情况下,请考虑购买(基于澳大利亚的)匿名服务(或只是代理)。

    【讨论】:

      猜你喜欢
      • 2018-01-28
      • 2013-02-24
      • 2011-10-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-07-01
      • 1970-01-01
      相关资源
      最近更新 更多