【问题标题】:How do I get a collection (or a stream) of distinct IP addresses using Tor?如何使用 Tor 获取不同 IP 地址的集合(或流)?
【发布时间】:2011-12-27 02:00:03
【问题描述】:

我正在编写一个用于学术研究的网络爬虫。这个爬虫发出数百万个请求,我想将这些请求分发到十个左右的 IP 地址。

我的机器已经有一个 IP 地址。我可以通过使用 Tor 获得一秒钟。我可以从 Tor 获得更多的 IP 地址吗?以下是我这样做的想法(以及围绕它们的问题)

  • 运行多个 Tor 实例;每个都提供一个 IP 地址。 (但 Tor 是否会将一两个以上的匿名 IP 地址映射到我的机器上?)
  • 运行一个实例,但为每个请求更改其标识。 (但 Tor 会限制这种行为,如 here 所述?)

这些想法中的任何一个都行得通,还是括号中的部分会使它们失败?还有其他想法吗?

【问题讨论】:

    标签: proxy ip ip-address web-crawler tor


    【解决方案1】:

    Tor relays have rate limitsNEWNYM is limited to 5 second intervals.

    如果速度不够快,自愿的僵尸网络或app engine 应该可以工作。

    【讨论】:

    • 您能否更新您的答案,提供一些描述速率限制的 Tor 文档的链接?
    • 您给定的链接显示“SETCONF bandwidthrate=100kb”。我不知道你想爬多快,但基本的 ddos​​ 保护似乎对服务器来说是强制性的。确实,交通拥堵堵塞了管道:blog.torproject.org/blog/…
    • 实际上,我并不担心与带宽相关的限制。我想了解与我可以使用的新 IP 地址(身份)数量相关的限制。我链接到的页面提到了与此活动相关的速率限制,但我没有在任何地方看到该声明的官方确认,也没有在您链接到的文档中。
    • 在这种情况下,它似乎被限制为 5 秒:trac.torproject.org/projects/tor/ticket/394
    猜你喜欢
    • 2020-05-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-12-26
    • 1970-01-01
    相关资源
    最近更新 更多