【发布时间】:2016-02-17 09:22:17
【问题描述】:
我想通过在站点地图中标记已编入索引且未更改的页面来减少搜索引擎爬虫造成的负载。
这将减少我们网站上每次重新索引的超过 200 万个页面中的大约 95%。
我在 google 站点地图文档中没有找到这样的选项。 我假设搜索引擎想要重新索引每个页面,即使该网站 说它没有改变,因为它不会盲目相信该网站提供准确的信息。
【问题讨论】:
标签: search-engine sitemap
我想通过在站点地图中标记已编入索引且未更改的页面来减少搜索引擎爬虫造成的负载。
这将减少我们网站上每次重新索引的超过 200 万个页面中的大约 95%。
我在 google 站点地图文档中没有找到这样的选项。 我假设搜索引擎想要重新索引每个页面,即使该网站 说它没有改变,因为它不会盲目相信该网站提供准确的信息。
【问题讨论】:
标签: search-engine sitemap
Sitemaps protocol 定义了三个XML elements,搜索引擎可以(不是必须)使用它们来决定何时或多久抓取哪些文档:
页面可能更改的频率。
文件的最后修改日期。
此网址相对于您网站上其他网址的优先级。
(Webmasters SE 可能有助于了解是否或哪些搜索引擎以何种方式支持这些。)
【讨论】: