【发布时间】:2012-09-06 11:34:19
【问题描述】:
我希望忽略来自 bingbot 的所有包含查询字符串变量 at1= 的 URL,但我不清楚应该使用的模式。
其中一个应该起作用吗?
User-agent: bingbot
Disallow: /*at1=
Disallow: *at1=*
为了确认,我可以有一个这样的 URL:
/some-page?at1=4&ca1=5&op1=8
我仍然希望/some-page 能够被访问,但当列出的 URL 具有查询字符串参数时则不会
编辑
一位发帖人实际上提出了一个 PHP 解决方案,该解决方案在细粒度定位方面可能有意义,但我不确定发送什么正确的 HTTP 状态代码来告诉蜘蛛它不受欢迎。有什么想法吗?
【问题讨论】:
标签: seo robots.txt