Robots.txt 禁止一切，只允许站点/页面的特定部分。 Ultraseek 和 FAST 等爬虫是否支持“允许”？

【问题标题】：Robots.txt to disallow everything and allow only specific parts of the site/pages. Is "allow" supported by crawlers like Ultraseek and FAST?Robots.txt 禁止一切，只允许站点/页面的特定部分。 Ultraseek 和 FAST 等爬虫是否支持“允许”？
【发布时间】：2008-12-26 06:15:11
【问题描述】：

只是想知道是否可以禁止爬虫访问整个网站而只允许特定网页或部分？ FAST 和 Ultraseek 等爬虫是否支持“允许”？

【问题讨论】：

标签： robots.txt fast-esp ultraseek

【解决方案1】：

有一个Allow Directive，但不能保证特定的机器人会支持它（就像不能保证机器人会检查你的 robots.txt 一样）。您可能可以通过检查您的博客来判断特定机器人是否仅对您允许的网站部分进行索引。

只允许您网站的特定页面或部分的格式可能如下所示：

Allow: /public/section1/
Disallow: /

这（应该）防止机器人抓取或索引除 /public/section1 下的内容之外的任何内容

【讨论】：