如何限制网站被索引

Question

我知道这个问题被问了很多次，但我想更具体一点。

我有一个开发域并将该站点移到那里的子文件夹中。比方说：

http://www.example.com/

收件人：

http://www.example.com/backup

所以我希望子文件夹根本不被搜索引擎索引。我已将 robots.txt 与以下内容放在子文件夹中（我可以将其放在子文件夹中还是必须始终位于根目录，因为我希望根目录的内容对搜索引擎可见）：

User-agent: *
Disallow: /

也许我需要替换它并将以下内容放入根目录：

User-agent: *
Disallow: /backup

另一件事是，我在某处读到某些机器人不尊重 robots.txt 文件，所以只需将 .htaccess 文件放在 /backup 文件夹中就可以了？

Order deny,allow
Deny from all

有什么想法吗？

Answer 1

这会阻止该目录被索引：

User-agent: *
Disallow: /backup/

此外，您的 robots.txt 文件必须放在域的根目录中，因此在这种情况下，该文件将放置在您可以通过浏览器访问 http://example.com/robots.txt 的位置

顺便说一句，您可能需要考虑为您的开发站点设置一个子域，例如http://dev.example.com。这样做可以让您将开发内容与生产环境完全分开，并确保您的环境更加匹配。

例如，任何指向 JavaScript 文件、CSS、图像或其他资源的绝对路径在从开发到生产的过程中都可能不一样，这可能会导致一些问题。

有关如何配置此文件的详细信息，请参阅robotstxt.org 站点。祝你好运！

最后也是最后一点，Google Webmaster Tools 有一个部分，您可以在其中see what is blocked by the robots.txt file：

要查看 Google 已阻止抓取哪些网址，请访问网站管理员工具的“健康”部分的已阻止网址页面。

我强烈建议您使用此工具，因为配置不正确的 robots.txt 文件可能会对您网站的性能产生重大影响。