在独特的场景中设置 410 状态答案

【问题标题】：Set 410 status in unique scenarios在独特的场景中设置 410 状态
【发布时间】：2015-08-27 15:13:29
【问题描述】：

我发现我的一些开发网站已被 Google 索引。不知何故，robots.txt 被删除了。如果访问者是谷歌蜘蛛机器人或者访问是谷歌的推荐，我如何调整我的 .htaccess 以提供 410 状态？

【问题讨论】：

为什么不在它们上设置 htpasswd？
robots.txt 是如何被删除的？这不是你真正的问题吗
我认为不用说 robots.txt 已经恢复原状，并且受到密码保护。所以，不，这不是真正的问题。真正的问题是从 Google 索引中删除这些链接，从而提供 410。

【解决方案1】：

你可以在你的.htaccess中使用：

RewriteEngine On 
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_REFERER} google
RewriteRule ^ - [L,R=410]

【讨论】：