爬取整个网站内容答案

【问题标题】：Crawl entire web site content爬取整个网站内容
【发布时间】：2009-05-27 05:00:02
【问题描述】：

我将内容源指定为内部非共享点网站

但是，完整的抓取只抓取网站根目录中的 22 个页面（有 100 个），除非我指定“自定义 - 指定页面深度和服务器跳数：”并保留“页面深度”和“限制服务器”啤酒花无限

这让爬行变得疯狂！

更新：我正在使用 MS Search Server Express 2008

【问题讨论】：

【解决方案1】：

Wget 非常聪明。这是我用来递归快照站点的命令行。

wget -r -k -K --no-parent http://internal.example.com/

【讨论】：

【解决方案2】：

您可能希望准确指定用于执行此抓取的工具/技术。另外，你有没有尝试过除了无限制之外的方法，结果如何？

【讨论】：