我想排除我的用户文件夹被搜索蜘蛛抓取。
结构如下。用户帐户在
www.mydomain.com/username
问题是我不能在 robots.txt 的不允许部分中排除“/”，因为还有其他文件夹，例如
www.mydomain.com/legal
www.mydomain.com/privacy
还有一些用户可以生成的项目应该是可抓取的。他们在
www.mydomain.com/username/items/itemId
我必须如何为该场景设置我的 robots txt？
【问题讨论】：
标签： html web-crawler backend robots.txt google-search
检查以下已回答的问题，也许它可以解决您的问题：
Robots.txt Disallow Certain Folder Names
希望这会有所帮助。
请参阅以下已回答的问题以排除文件夹但不排除其子文件夹
Robots.txt Allow sub folder but not the parent
你还应该考虑使用如下结构：
mydomain.com/users/user1/subfolder
mydomain.com/users/user2/subfolder
为了更准确地定位您的规则。
【讨论】：
如果可能，您应该按照taxicala 的建议更改您的目录结构。
如果你绝对不能改变你的目录结构，你可以使用允许指令和通配符来处理这两个问题：
User-agent: *
Allow: /legal$
Allow: /privacy$
Allow: /*/items/
Disallow: /
请注意，并非所有机器人都支持这种语法。这肯定适用于所有主要搜索引擎，但它可能不适用于一些较旧的机器人。此外，这并不是特别面向未来的。如果您稍后添加一些新的顶级页面而忘记将它们添加到 robots.txt 文件中，它们将被静默阻止。理想的方法是使用目录结构，将您想要阻止的内容与您不想阻止的内容隔离开来。
【讨论】：