【问题标题】:Block search engines from indexing local search results but not search page阻止搜索引擎索引本地搜索结果,但不索引搜索页面
【发布时间】:2018-01-19 05:47:32
【问题描述】:

Bingbot 一直在索引搜索引擎结果页面,所以我想:

  • 允许搜索引擎访问所有内容。
  • 允许搜索引擎索引search/ url。
  • 只禁止搜索查询 (search/?q=example),而不阻止 search/ URL 本身。

以下代码是否与我声明的三个目标有任何冲突?

User-Agent: *
Allow: /
Disallow: /search/?

【问题讨论】:

    标签: robots.txt bingbot


    【解决方案1】:

    使用搜索页面的 URL 在搜索页面上设置规范链接。然后给谷歌一些时间来清理混乱(如果有很多页面或访问量低的页面来覆盖所有内容,最多需要 6 个月)。所有带有查询参数的索引页面将在搜索页面下重新组合,并逐渐从排名中移除。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-04-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多