【发布时间】：2012-04-04 01:54:26
【问题描述】：
站点地图是否需要覆盖整个站点？
如果我有一个指向网站上所有最重要视图的站点地图链接，我应该期望该网站上的所有第一个子页面都应该在没有明确定义的情况下被抓取，对吗？
【问题讨论】：
【发布时间】：2012-04-04 01:54:26
【问题描述】：
您可能希望站点地图上的页面链接到的所有 URL 都是 crawled，但我仍然建议将它们包含在站点地图中，因为它是 provides meta-data。
请记住，position of a page in your sitemap doesn't matter.如果你有很多页面并且想自己整理东西，你可以split the map into several files。否则，最明智的做法可能是让爬虫使用priority 属性找出哪些页面更重要。
【讨论】：