通过 htaccess 阻止来自子域的爬虫

Question

我们公司的临时开发网址正在被搜索引擎索引。我们需要通过全局 htaccess 文件来阻止它。通过全局，我的意思是我想将此访问权限放到我们的根目录中，这将为每个站点应用规则。每次我们建立一个新站点时，我都不想在那个文件夹中放置一个 htaccess 文件。

我不擅长编写 htaccess 规则，否则我会自己完成。我会感谢社区的任何意见。

这是一个临时网址示例：1245.temp.oursite.com

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/oursite\.com" [R=301,L]

我试过玩这个，但就像我上面所说的，我在编写 htaccess 规则方面很糟糕。

编辑 问题类似于this one，但我的问题涉及子域。

Answer 1

如果您只是想要一个通用文件来阻止机器人，那么您可以使用类似的东西。这不是特定于域的。

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*(AltaVista|Googlebot|msnbot|Slurp).*$ [NC]
RewriteRule .* - [F,L]

编辑：如果您的子域可以从主根 .htaccess 文件访问，那么您可以使用这样的方法以及它应该阻止访问的任何临时域。

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*(AltaVista|Googlebot|msnbot|Slurp).*$ [NC]
RewriteCond %{HTTP_HOST} ^([0-9]+)\.temp\.oursite\.com$ [NC]
RewriteRule .* - [F,L]

Answer 2

如果您不希望搜索引擎为网站编制索引，请将robots.txt 文件添加到这些子域。它应该包含：

User-agent: *
Disallow: /

所有主要搜索引擎都遵守 Web Robots 标准。