robots.txt 配置

Question

我对这个机器人文件有一些疑问。

User-agent: *
Disallow: /administrator/
Disallow: /css/
Disallow: /func/
Disallow: /images/
Disallow: /inc/
Disallow: /js/
Disallow: /login/
Disallow: /recover/
Disallow: /Scripts/
Disallow: /store/com-handler/
Disallow: /store/img/
Disallow: /store/theme/
Disallow: /store/StoreSys.swf
Disallow: config.php

这将禁用每个文件夹中所有文件的爬虫，对吗？ 或者我必须在每个文件夹名称的末尾添加一个星号？

我认为应该这样做。但我不确定是否必须在User-agent 之后添加Allow: / 我想不需要。

这个机器人文件有什么问题吗？

PS：如果有人可以推荐一个本地使用的验证应用程序，我会很高兴。

谢谢。

Answer 1

没关系，如果我明白你想要什么。例如

/administrator/
/css/subpage

都被屏蔽了，但是

/foo 

是允许的。请注意，Allow 是一个受支持较少的扩展，仅用于对抗之前的 Disallow。例如，尽管您的

Disallow: /images/

您决定要允许特定图像。所以，

Allow: /images/ok_image

所有其他图像仍然被阻止。您可以查看http://www.searchtools.com/robots/robots-txt.html 了解更多信息，包括检查器列表。