【发布时间】：2014-02-20 19:46:27
【问题描述】：
例如，我想找出网站上有哪些子域等，但没有导航。我可以以某种方式抓取网站并创建站点地图吗？例如，这是否可以通过 www.google.com 来查明存在 images.google.com、drive.google.com 等？
另外，很抱歉没有很好地标记它，不确定如何标记它，因为我什至不知道从哪里开始。
【问题讨论】：
标签： javascript python web
【发布时间】：2014-02-20 19:46:27
【问题描述】：
当然可以。查看以下文章中链接的开源爬虫。
【讨论】：