【问题标题】：How to configure robots.txt file to block all but 2 directories如何配置 robots.txt 文件以阻止除 2 个目录之外的所有目录
【发布时间】：2011-09-21 14:22:52
【问题描述】：
我不希望任何搜索引擎为我的大部分网站编制索引。
但是，我确实希望搜索引擎索引 2 个文件夹（及其子文件夹）。这是我设置的，但我认为它不起作用，我在 Google 中看到了我想隐藏的页面：
这是我的 robots.txt
User-agent: *
Allow: /archive/
Allow: /lsic/
User-agent: *
Disallow: /
除了 2 之外，禁止所有文件夹的正确方法是什么？
【问题讨论】：
标签：
seo
robots.txt
google-search
【解决方案1】：
我在这个论坛here 上提供了一个关于这个的教程。在维基百科here
基本上第一个匹配的 robots.txt 模式总是获胜：
User-agent: *
Allow: /archive/
Allow: /lsic/
Disallow: /
但我怀疑可能为时已晚。一旦页面被索引，就很难删除它。唯一的方法是将其转移到另一个文件夹或仅使用密码保护该文件夹。您应该能够在您的主机 CPanel 中执行此操作。