此代码是否阻止机器人抓取我的页面？答案

【问题标题】：Is this code blocking bots from crawling my page?此代码是否阻止机器人抓取我的页面？
【发布时间】：2013-09-03 05:21:47
【问题描述】：

我的网站过去在 google、yahoo 和 bing 上的索引非常高。但突然之间，它就彻底消失了。

我已经重新提交给谷歌，创建了一个站点地图等尝试重新索引我的网站，但没有成功。因此，我阅读了有关检查我的 .htaccess 文件以查看我是否被黑客入侵的信息。

我在 .htaccess 文件中遇到了以下内容。

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(bot|urp|msn).* [NC]
RewriteRule ^(.*) 501.html [NS,NC,L]

有人能告诉我这是否会阻止机器人抓取我的页面吗？

提前致谢！

【问题讨论】：

【解决方案1】：

是的，此规则阻止他们访问您的网站。删除这三行以使它们具有适当的访问权限。如果您想阻止他们访问您网站的特殊部分，请改用 robots.txt。

【讨论】：