【发布时间】：2014-07-08 13:27:48
【问题描述】：
我正在尝试使用 Node.js 查找域中的所有页面。 我在 Stackoverflow 上搜索，但我发现的只是 Ruby 的这个线程：Find all the web pages in a domain and its subdomains - 我也有同样的问题，但是对于 Node.js。 我也用谷歌搜索了这个问题，但我发现的只是没有找到自己抓取链接的刮板。我还在搜索“站点地图生成器”、“网页机器人”、“自动抓取工具”、“使用 Node 获取域上的所有页面”之类的内容，但没有带来任何结果。
我有一个抓取工具，它需要一系列链接来处理，例如我有一个页面 www.example.com/products/ 我想在其中找到所有现有的子页面，例如www.example.com/products/product1.html、www.example.com/products/product2.html 等
你能告诉我如何在 Node 中实现它吗？
【问题讨论】：
-
现有的爬虫会工作吗？ crawlmysite.in
标签： node.js sitemap robots.txt