【问题标题】:asking search engine to not re-index an unchanged page要求搜索引擎不要重新索引未更改的页面
【发布时间】:2016-02-17 09:22:17
【问题描述】:

我想通过在站点地图中标记已编入索引且未更改的页面来减少搜索引擎爬虫造成的负载。

这将减少我们网站上每次重新索引的超过 200 万个页面中的大约 95%。

我在 google 站点地图文档中没有找到这样的选项。 我假设搜索引擎想要重新索引每个页面,即使该网站 说它没有改变,因为它不会盲目相信该网站提供准确的信息。

【问题讨论】:

    标签: search-engine sitemap


    【解决方案1】:

    Sitemaps protocol 定义了三个XML elements,搜索引擎可以(不是必须)使用它们来决定何时或多久抓取哪些文档:

    • changefreq

      页面可能更改的频率。

    • lastmod

      文件的最后修改日期。

    • priority

      此网址相对于您网站上其他网址的优先级。

    Webmasters SE 可能有助于了解是否或哪些搜索引擎以何种方式支持这些。)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-09-13
      • 1970-01-01
      • 1970-01-01
      • 2011-08-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-12-25
      相关资源
      最近更新 更多