如何禁止搜索引擎使用robot.txt 索引子目录/CRM？

【问题标题】：How do I forbid search engine to index subdirectory /CRM with robot.txt?如何禁止搜索引擎使用robot.txt 索引子目录/CRM？
【发布时间】：2012-08-29 07:34:57
【问题描述】：

甚至禁止索引整个网站？

【问题讨论】：

标签： search-engine robots.txt

【解决方案1】：

创建一个robots.txt 文件并添加相应的Disallow 指令，例如：

User-agent: *
Disallow: /CRM

【讨论】：

Disallows 怎么写？
所以我可以使用Disallow: / 来禁止索引整个网站，对吧？
请记住，robots.txt 是区分大小写的，因此如果文件夹名为 /crm，则需要“禁止：/crm”。如果服务器不区分大小写，您可能需要禁止路径的多个版本。