【发布时间】:2011-12-27 02:00:03
【问题描述】:
我正在编写一个用于学术研究的网络爬虫。这个爬虫发出数百万个请求,我想将这些请求分发到十个左右的 IP 地址。
我的机器已经有一个 IP 地址。我可以通过使用 Tor 获得一秒钟。我可以从 Tor 获得更多的 IP 地址吗?以下是我这样做的想法(以及围绕它们的问题)
- 运行多个 Tor 实例;每个都提供一个 IP 地址。 (但 Tor 是否会将一两个以上的匿名 IP 地址映射到我的机器上?)
- 运行一个实例,但为每个请求更改其标识。 (但 Tor 会限制这种行为,如 here 所述?)
这些想法中的任何一个都行得通,还是括号中的部分会使它们失败?还有其他想法吗?
【问题讨论】:
标签: proxy ip ip-address web-crawler tor