【问题标题】:How can I find out who hosts a bunch of websites using a script?如何使用脚本找出谁托管了一堆网站?
【发布时间】:2015-10-21 19:08:12
【问题描述】:

我想确定一堆网站的托管位置:ViaWest、GoDaddy、Amazon Web Services 等。

有在线免费工具可以执行此操作,但是对于我要检查的网站数量(数百个)而言,使用它会很慢。

我想编写这个脚本。我尝试了以下 bash 命令,但没有成功:

谁是

手指

nmap

挖掘

它们都不会返回网站的主机,尽管它们对 IP 地址和名称服务器等内容很有帮助。有什么想法吗?

我还研究了一个可以查询 webhostinghero 网站的脚本,但似乎应该有更简单的方法。如果有帮助,我有一个 url 和相应 IP 的列表。提前致谢。

【问题讨论】:

  • 你为什么要这么做?
  • 只需记录下这些主机服务器的所有 IP 地址,然后为您要检查的每个站点进行 nslookup,ez
  • @hek2mgl,他为什么要这样做有什么关系?
  • @hek2mgl 我的公司拥有从各地收购的网站,我们正在努力整合它们。
  • 还没有为此找到命令行工具,但看起来 Selenium 可以解决问题。

标签: bash scripting web-scraping web-hosting whois


【解决方案1】:
  1. 如果您想获取批量 whois 数据,您必须通过有权访问它的公司 such as ARIN

    但是,ARIN 有以下免责声明:

    ARIN 提供对 ARIN Whois 目录服务中所有对象的批量副本的访问,以支持真正的学术研究人员的工作,以及使用这些数据的运营商和研究人员为更广泛的网络社区带来明显的好处。 ARIN 向希望将这些数据整合到产品、服务或内部系统中而对更广泛的社区没有明显好处的运营商提供大量的 Whois 数据副本。

    请记住,no single, complete copy 显然是由任何其他公司提供的。

  2. 您还可以使用this C# project 查找名称服务器,并相应地映射值。尝试使用netcat 将该项目变成一些东西。更多关于 here.

【讨论】:

  • 这可能适用于大多数网站,但不适用于使用 CloudFlare(DDoS 或透明 CDN)等服务的网站。
  • 根据免责声明,我似乎无法出于我的目的访问这些信息,但我会记住该资源.. 很高兴知道它可以批量提供。谢谢!
  • 数据可能通过...其他方法获得。 ;)
  • 但请查看#2。如果您相应地映射它,您实际上可以将主机名绑定到名称服务器。如果我没记错的话,默认情况下没有办法在 C# 中执行此操作,因此#2 可能是手动发送数据包。这就是我链接它的原因。从那里,您可能能够编写在 Linux 上运行并执行相同操作的 C/C++/C# 程序。你可以使用netcat
猜你喜欢
  • 2011-07-15
  • 2017-03-29
  • 2021-09-29
  • 1970-01-01
  • 1970-01-01
  • 2020-09-09
  • 2014-11-29
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多