我想从搜索引擎隐藏 public_html 中名为 ( beta ) 的文件夹以及它的所有子文件夹和文件，我是否必须将文件放在根文件夹 ( / ) 中并执行 robots.txt 的内容像下面这样
User-agent: *
Disallow: /public_html/beta
或
将robots.txt放到public_html中，内容如下
User-agent: *
Disallow: /beta
【问题讨论】：
标签： seo robots.txt
robots.txt 必须在根目录中。
www.yoursite.com/robots.txt
这是你需要的：
用户代理：*
不允许：/文件夹/某物
你想要禁止的文件夹的名称
另外，请注意，您只想阻止名为 something 的子文件夹。如果您还有一个文件名为您不想禁止的文件，请执行以下操作：
用户代理：*
不允许：/folder/something/
【讨论】：
重要的是公共 URL，而不是服务器的实际物理文件夹。
因此，当您的站点位于 example.com/cooking/index.html 时，您的 robots.txt 必须位于 example.com/robots.txt。对于sports.example.com/football/blog，它将是sports.example.com/robots.txt。
【讨论】：
最好的解决方案是隐藏您的所有子文件夹和文件以防止测试。您可以按如下方式定义 robots.txt：
用户代理：*
禁止：/beta*/
现在，所有搜索引擎都不会抓取所有子目录和文件，然后是 beta。
【讨论】：