Robots.txt 优先问题答案

【问题标题】：Robots.txt priority questionRobots.txt 优先问题
【发布时间】：2011-06-03 03:08:26
【问题描述】：

如果我在 robots.txt 中有这些行：

Disallow /folder/
Allow /folder/filename.php

那么文件名.php 会被允许吗？

google 会按哪个顺序排列线路？

例如这里会发生什么？：

Allow /
Disallow /

我在这里主要指的是谷歌作为搜索引擎。

谢谢

【问题讨论】：

【解决方案1】：

对于您的第一个示例，是的，文件 /folder/filename.php 将被允许，因为 Google 将优先考虑最具体的规则。例如，请参阅here 或check Wikipedia's article，了解更多详情。

此外，Google 有详细的文档说明它如何使用 robots.txt 而不是 here。

编辑：对于第二个示例，Allow 将根据他在回答中发布的 Wikipedia 引述 Byron Whitlock 进行优先排序。

【讨论】：

+1 还有一个类似的问题，在webmasterworld.com/robots_txt/3090841.htm得到答案
他是对的。根据 google code.google.com/web/controlcrawlindex/docs/robots_txt.html，将遵循具有较长字符长度的规则（无论顺序如何）。
同意（至少 w.r.t. Google），除了第二个；对于第二个，结果将是未定义的（两条路径都同样具体），所以你不能真的指望它会以任何一种方式进行（或者搜索引擎会同意）。如果您在 robots.txt 文件中看到此内容，请将其删除或使其更清晰。

【解决方案2】：

这取决于搜索引擎：

虽然按照标准实施第一个匹配 robots.txt 模式总是赢，谷歌的实施不同之处在于允许模式与中相等或更多的字符指令路径胜过匹配禁止模式。必应使用允许或禁止指令是最具体的。

为了兼容所有机器人，如果一个人想允许单否则不允许的文件目录，有必要放置首先是 Allow 指令，然后是被禁止。

【讨论】：