【发布时间】：2013-04-17 09:02:29
【问题描述】：
如果我的 ALLOWED_HOSTS 设置为仅 .mywebsite.com，这会阻止 Google 抓取我的网站吗？机器人不是有很多 googlebot 吗？对不起，我对这件事有点无知..
【问题讨论】：
标签： django python-2.7 googlebot http-host
【发布时间】：2013-04-17 09:02:29
【问题描述】：
您应该使用网络服务器上的 robots.txt 文件来阻止机器人访问网站。 http://www.robotstxt.org/robotstxt.html
Google bot 使用的不是“googlebot”主机，而是用户代理。如果 bot 使用“googlebot”作为主机，那么如果 web 服务器配置了多个具有不同主机的网站，它将无法访问您的网站。
【讨论】：