【发布时间】：2011-10-03 09:30:22
【问题描述】：
这是正确的方法吗 - 下面是我的 txt 文件，这会阻止 Google 索引我的管理目录以及 oldpage.php 吗？
User-agent: *
Allow: /
Disallow: /admin/
Disallow: http://www.mysite.com/oldpage.php
【问题讨论】：
标签： search indexing robots.txt
【发布时间】：2011-10-03 09:30:22
【问题描述】：
是的，除了单个文件限制之外，您是绝对正确的。
User-agent: * : 表示所有爬虫
Allow: / : 允许访问整个站点
Disallow: /admin/ : 限制在管理目录
Disallow: /oldpage.php : 限制在 oldpage.php
【讨论】：