Robot.txt 特定页面的规则答案

【问题标题】：Robot.txt Rule for specific pagesRobot.txt 特定页面的规则
【发布时间】：2021-05-28 00:28:59
【问题描述】：

Google 搜索和 Bing 搜索引擎会抓取我们的域。我们只想通过参数向公众隐藏几个页面。有没有什么办法。

例子

mydomain.com/products/phone.xhtml?xtoken=value
mydomain.com/products/electronics.xhtml?xtoken=value

我们不想同时隐藏mydomain.com/products/phone.xhtml 我们不想显示mydomain.com/products/phone.xhtml?xtoken=value 是受限制的内容。

【问题讨论】：

【解决方案1】：

这是一种非常糟糕的方法，因为您只需在 robots.txt 中输入这些地址即可提醒公众注意这些地址。您假设所有爬虫都尊重 robots.txt。除此之外，您的解决方案有什么问题？

【讨论】：