防止 Googlebot 频繁地重新索引某些页面答案

【问题标题】：Prevent Googlebot to reindex some pages frequently防止 Googlebot 频繁地重新索引某些页面
【发布时间】：2012-08-08 17:41:37
【问题描述】：

我们可以使用 robots.txt 更改机器人的抓取速度。但 Googlebot 没有考虑 robots.txt，所以我寻找另一种方法。

在我的网站中，我有一些页面非常频繁地更改，而且更改很小。一天说 20-30 个字符。但我不希望 Googlebot 经常重新索引它们。比如说，我希望 Googlebot 每个月都对其进行索引。是否可以使用这样的元标记：

<META HTTP-EQUIV="expires" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">

Googlebot 会忽略这一点吗？或者您能推荐其他解决方案吗？

【问题讨论】：

标签： html caching meta-tags googlebot

【解决方案1】：

我建议你生成一个 XML 站点地图。

站点地图允许您指定要传递给搜索引擎的参数，即您赋予页面的重要性（或权重）以及页面（通常）更新的速度。

这并不意味着搜索引擎只会坚持这一点。可能是您说页面每年更新一次，并且该年被抓取 3 次，或者设置为每天，并且每月只抓取一次。

Google on SiteMaps

【讨论】：

【解决方案2】：

您可以使用这些 URL 创建一个sitemap，并将<changefreq> 元素设置为monthly。这些只是对搜索引擎的提示，但它可能是您最好的选择。

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.example.com/latest-updates.html</loc>
      <changefreq>monthly</changefreq>
   </url>
</urlset>

【讨论】：