【发布时间】：2012-06-22 20:14:09
【问题描述】：
商业搜索引擎爬虫如何遍历网络： “识别种子页面并通过连接的链接找到其他页面” 或者 "索引网站 wwwroot 目录下的每个文件。"
在以后的选项搜索引擎的情况下，甚至应该有索引的东西没有被任何其他页面引用？
【问题讨论】：
标签： web-crawler google-crawlers
【发布时间】：2012-06-22 20:14:09
【问题描述】：
必须存在引用。可以是
- 允许用于索引的常规 HTML href
- sitemaps.xml 中的链接
- robots.txt 中的链接允许抓取工具使用
- 网站管理员在其搜索引擎后台提供的参考资料
- 等
它可以是任何其他链接。
【讨论】：
-
所以商业搜索引擎不会通过 wget -m 爬取网站的目录？
-
@David 实际上没有。由于大多数严肃的项目出于安全原因不允许目录列表。更重要的是，URL 结构并不总是反映目录结构（这很明显）。另外，如果我没记错的话， wget -m 只是 FTP 镜像选项。
-
@David 我确定 wget 不是作为某些商业搜索引擎的核心开发的:-) 爬虫必须支持许多事实上的标准：xml 格式的站点地图、机器人.txt 限制，链接索引/跟随限制等。这比简单的镜像要困难一些。
-
感谢您向我解释。如果爬虫还包含基于访问网站 wwwroot 的文件索引，那肯定不会有帮助。这样它就可以通过上述方法索引任何无法访问的页面？
-
爬虫使用链接，但 bot 使用文件。它下载一个主页和所有允许递归跟踪的链接。大概就是这个意思。