如何配置 Nginx 以阻止特定机器​​人访问该站点但允许它们访问 robots.txt？

Question

我有以下 nginx 配置来阻止某些机器人访问基于用户代理的站点。到目前为止它运行良好，但是我发现被阻止的机器人也无法访问 /robots.txt 文件，因此它们每天继续爬取该站点并出现数百个 403 错误。

map $http_user_agent $block_ua {
    default            0;
    ~*yandexbot        1;
}

server {
    # Block bad bots
    if ($block_ua) {
        return 403;
    }

    location / {
        try_files $uri $uri/ /index.php?$args;
    }

    # other location blocks below...
}

我尝试更改配置允许所有bot访问/robots.txt，如下，但是不行，用curl -I -A "yandexbot" [url]测试仍然返回403 Forbidden。

server {
    location = /robots.txt {
        try_files $uri $uri/ /index.php?$args;
    }

    # Block bad bots
    if ($block_ua) {
        return 403;
    }

    location / {
        try_files $uri $uri/ /index.php?$args;
    }

    # other location blocks below...
}

我应该在配置中添加什么以获得所需的行为？

Answer 1

首先，尝试将allow all; 添加到您的 Nginx 配置中。以下示例中的其余部分是可选的：

location = /robots.txt {
    allow all;
    log_not_found off;
    access_log off;
}

然后你可以尝试一些类似的东西：

if ($block_ua) { 
    set $test A; 
} 
if ($request_uri = /robots.txt) { 
    set $test B; 
} 
if ($test = A) { 
    return 403; 
}

这是拥有多个 if 语句的一种很老套的方法。见here。

解释：

allow all

允许访问指定的网络或地址（在本例中为所有）。

---

log_not_found off;

如果文件不存在并且客户端请求它，请不要记录 HTTP 错误 404。

---

if ($request_uri = /robots.txt) { set $test A; }

如果请求的文件不是robots.txt，则将$test设置为“A”

---

if ($block_ua){ set $test "${test}B"; }

如果 UserAgent 匹配，则将 $test 设置为 "$test + B"

---

if ($test = AB){ return 403; }

如果$test 是“AB”，这意味着两个条件都满足，返回403 并阻止机器人。

---

其他信息：

阻止 UserAgent 标头只会阻止 一些 机器人。客户端发送的所有内容都可能被欺骗。包括 UserAgent 字符串。