【发布时间】:2014-09-23 07:23:15
【问题描述】:
http://whoisxmlapi.com 为厚 WHOIS 查询提供高吞吐量 API。据我了解,此类数据只能由对每分钟查询数量设置非常低的域名注册商提供。这些数据是从多个 IP 的http://whois.godaddy.com 等地方仔细抓取的,还是有办法批量获取这些数据?
【问题讨论】:
-
这个问题似乎跑题了,因为它不是关于编程,而是关于如何实现其他服务。
http://whoisxmlapi.com 为厚 WHOIS 查询提供高吞吐量 API。据我了解,此类数据只能由对每分钟查询数量设置非常低的域名注册商提供。这些数据是从多个 IP 的http://whois.godaddy.com 等地方仔细抓取的,还是有办法批量获取这些数据?
【问题讨论】:
ICANN 法规要求注册服务商批量提供 WHOIS 数据,但需要付费。详情可以阅读全文here:
3.3.6.2 注册服务商可就此类批量访问 [WHOIS] 数据收取不超过 10,000 美元的年费。
我不知道 whoisxmlapi 和 DomainTools 等网站的具体运作方式,但它们可能能够执行比通常数量更多的 WHOIS 查询,因为它们已经为这项特权掏了钱。
ICANN 法规仍然对访问施加了某些限制:
3.3.6.4 注册商的访问协议应要求第三方同意不使用数据来实现大容量、自动化、电子流程 [...]
再次推测,但如果不是自动化/脚本化的,对注册商数据库的大量查询可能不会被拒绝。 whoisxmlapi 和 DomainTools 等网站提供 WHOIS 查询服务,用户可以在其中查询各个域名。在将记录显示给用户之前,他们可以非常简单地对其进行缓存和索引。
当然,正如您所建议的那样,也许他们刚刚获得了数百个 IP 地址,并开始以一种狡猾的方式收集数据。
【讨论】: