从单个网站构建链接树的爬虫

Question

我想知道是否有任何用于爬虫的外包解决方案，它只解析给定网站的链接和页面，并输出：

1.链接树 2.页面（必要时）

谢谢！

Answer 1

您不需要任何特定的框架来完成这项任务。你懂什么语言？如果您了解 Java，则可以使用 HttpClient 或 HttpUnit 库来帮助您完成爬网任务。

如果你是 python 用户，有一个很棒的框架叫做 Scrapy (http://scrapy.org/)。你应该去看看。