【问题标题】:Robots.txt exclusion patternRobots.txt 排除模式
【发布时间】:2012-09-06 11:34:19
【问题描述】:

我希望忽略来自 bingbot 的所有包含查询字符串变量 at1= 的 URL,但我不清楚应该使用的模式。

其中一个应该起作用吗?

User-agent: bingbot
Disallow: /*at1=
Disallow: *at1=*

为了确认,我可以有一个这样的 URL:

/some-page?at1=4&ca1=5&op1=8

我仍然希望/some-page 能够被访问,但当列出的 URL 具有查询字符串参数时则不会

编辑

一位发帖人实际上提出了一个 PHP 解决方案,该解决方案在细粒度定位方面可能有意义,但我不确定发送什么正确的 HTTP 状态代码来告诉蜘蛛它不受欢迎。有什么想法吗?

【问题讨论】:

    标签: seo robots.txt


    【解决方案1】:
    if ( strstr($_SERVER['HTTP_USER_AGENT'], "www.bing.com/bingbot.htm") and isset($_GET['at1']) ) :
            @header("HTTP/1.0 480 Temporarily Unavailable");
            die;
    endif;
    

    【讨论】:

    • 这实际上可能是最有意义的 - 你有什么特别选择 480 的原因吗?
    • 真的不记得了,我想也许我使用了 408,因为我脚本中的某些类别是不可分割的,所以我暂时发送 408。你可以使用 404
    • 您发布的是 480 而不是 408?
    • sorry error in comment ;) 410 Gone [ is better ] -> 表示请求的资源不再可用并且将不再可用。从 4XX 中选择一些东西
    • 实际上认为 403 Forbidden 可能是最好的
    猜你喜欢
    • 2018-04-09
    • 2015-06-04
    • 2012-04-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-20
    • 1970-01-01
    • 2021-12-25
    相关资源
    最近更新 更多