【发布时间】:2018-01-19 05:47:32
【问题描述】:
Bingbot 一直在索引搜索引擎结果页面,所以我想:
- 允许搜索引擎访问所有内容。
- 允许搜索引擎索引
search/url。 - 只禁止搜索查询 (search/?q=example),而不阻止 search/ URL 本身。
以下代码是否与我声明的三个目标有任何冲突?
User-Agent: *
Allow: /
Disallow: /search/?
【问题讨论】:
标签: robots.txt bingbot