如何排除某些路径被爬网/索引？

【问题标题】：How can I exclude certain paths from being crawled/indexed?如何排除某些路径被爬网/索引？
【发布时间】：2013-08-11 16:01:59
【问题描述】：

我的网站上有以下 url 结构：

用户帐户：

http://www.mydomain.com/username

用户我包含以下项目：

http://www.mydomain.com/username/item/itemId

我必须在我的 robots.txt 中设置哪些用户帐户不会被索引并且所有项目都会被索引？

【问题讨论】：

【解决方案1】：

实际上，我认为 robots.txt 不可能做到这一点。如果username、item 和item-id 可以是任意字符串，Google 的通配符支持可能不支持。您必须至少指定每个 username。

查看 Google 的 Robots.txt Specifications 页面。可能还有其他方法可以做你想做的事。

【讨论】：