【发布时间】：2010-07-24 06:30:24
【问题描述】：
我想禁止 SE 机器人访问我网站上的所有文件和文件夹，但其中的特殊文件夹和文件除外。 我可以在 robots.txt 文件中使用这些行吗？
User-agent: *
Disallow: /
Allow: /thatfolder
对吗？
【问题讨论】：
标签： web-crawler robots.txt search-engine-bots
【发布时间】：2010-07-24 06:30:24
【问题描述】：
User-agent:*
Allow: /thatfolder
Disallow: /
这应该可以。 （只是改变了顺序）
【讨论】：
-
为什么会这样？你能解释一下吗？我在docs 中发现，当条目之间发生冲突时，最少的限制胜过，所以我认为 Allow 总是比 Disallow 限制更少。所以@hd。是错误的，因为允许和禁止的顺序？那么，如果允许不高于不允许被完全忽略？
-
TBH，已经十年了！当前的文档似乎不太关心订单。但是，我想对其进行测试以确认这一点。如果您可以测试这两个案例并发布它，我会更新答案，或者您可以发布自己的答案并让 OP 标记它。谢谢！阅读文档做得很好。感谢链接它！ （当我回答时我应该首先这样做）