【发布时间】：2019-06-04 04:34:09
【问题描述】：
这是我的代码
网址格式示例
www.example.com/folder/subfolder/*
希望允许www.example.com/folder/* 并特别禁止
www.example.com/folder/subfolder/*
如何在robot.txt文件中实现
【问题讨论】：
标签： html url web-crawler robots.txt google-crawlers
【发布时间】：2019-06-04 04:34:09
【问题描述】：
您可以通过将此行添加到 robots.txt 来专门禁止文件夹
Disallow: /folder/subfolder/
【讨论】：
-
这不会对其他主文件夹路径造成任何问题吗？
-
不，不会对其他主文件夹路径造成任何问题