禁止某些机器人使用 htaccess 访问某些目录

【问题标题】：Disallow certain bots from accessing certain directory using htaccess禁止某些机器人使用 htaccess 访问某些目录
【发布时间】：2013-08-07 05:15:13
【问题描述】：

我需要阻止某些机器人访问我网站上的某些目录。这几乎与this question 相同，只是我不想在要阻止的每个文件夹中创建不同的 .htaccess 文件。我需要使用根 .htaccess 文件。

Regex 真的让我很难受。感谢您的帮助

【问题讨论】：

我尝试了在我提到的问题上发布的相同代码以及一些失败的正则表达式组合

标签： .htaccess

【解决方案1】：

只需创建一个文件夹列表并在每个文件夹之前添加相同的条件：

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule ^folder1/ - [L,F]

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule ^folder2/anotherfolder/ - [L,F]

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule ^folder3/path/to/disallowedfolder/ - [L,F]

等等。

【讨论】：

@AhmadAlfy 您可以使用任何一种，F 标志会返回一个 403 禁止的 sam 作为R=403，这是记录在案的方法。