在 robots.txt 规则中添加块网址

Question

我想只允许这些 url 读取 mysite 中的机器人

example.com/site/faq
example.com/site/blog
example.com/site/aboutus

所有其他 URL 都需要被阻止，规则是什么？谢谢

Answer 1

我认为您正在寻找的是：

User-agent: *
Allow: /site/faq
Allow: /site/blog
Allow: /site/aboutus
Disallow: *

这特别允许您提到的三个文件夹，而不允许其他所有文件夹。