是否可以禁止 robots.txt 中的所有子目录？

Question

我最近设置了我的 robots.txt 文件。

没什么特别的 - 我有一个 asp.net 站点，所以除了根目录中的页面、web.config 等之外，还有指向 /bin/ 的链接和一些用于组织而不是站点的自定义文件夹结构。

目前我正在单独禁止每个目录，但我想知道是否可以一次性从根目录禁止所有子目录。

我查看了文档，但还没有找到我想要的答案 - 通常它不存在，因为它不可能。

有人建议这是否可行？

Answer 1

这可以用通配符来完成：

User-agent: *
Disallow: /*/

请注意，通配符是一种扩展，不是原始 robots.txt 标准的一部分。所有主要搜索引擎都支持它们，但许多专用爬虫并不支持它们。

如果您只关心主要搜索引擎，并且需要屏蔽成百上千个目录，那么通配符是一个不错的解决方案。如果您只需要屏蔽少数几个目录，那么最好单独列出它们。