禁止 robots.txt 中特定 url 中的所有参数答案

【问题标题】：Disallow all parameters in a specific url in robots.txt禁止 robots.txt 中特定 url 中的所有参数
【发布时间】：2015-07-06 14:31:45
【问题描述】：

我想禁止特定 url 中的所有参数。

如果我添加这条规则：

Disallow: /*?*

它适用于所有网址

我想做什么：

Disallow: /my-specific-url/*?*

但根据谷歌网站管理员工具，这条规则不起作用。

【问题讨论】：

【解决方案1】：

您的示例看起来应该可以运行，但您确实需要包含 User-agent 行。以下 robots.txt 文件：

User-agent: *
Disallow: /my-specific-url/*?*

将阻止以下网址：

http://example.com/my-specific-url/?
http://example.com/my-specific-url/?a=b

但它不会阻止以下内容：

http://example.com/my-specific-url/
http://example.com/some-other-url/?a=b

请注意，尾随的 * 是无害的，但没有任何用处。做同样事情的更简洁的方法是：

User-agent: *
Disallow: /my-specific-url/*?

另请注意，主要搜索引擎支持通配符，但许多其他爬虫不支持通配符。

【讨论】：

感谢您的回答。不幸的是，它不起作用。我在 robots.txt 的开头添加了 2 行。我已经用谷歌网站管理员站点地图测试工具测试了这个网址：my-specific-url?amp%2525253Bamp%2525253B=&p=4，它说这个网址是授权的。我知道网址很奇怪。我有一个电子商务 CMS (Prestashop) 的错误，我找不到这些 url 来自哪里。所以我想要求搜索引擎不要探索这个网址，因为我有很多重复的内容。当然，我会尝试找出错误的来源。
现在可以使用了。抱歉，我犯了一个简单的错误：我忘了删除斜线。所以这个解决方案有效：Disallow: /my-specific-url*?* 另外，@FarhadD 解决方案有效：Disallow: /my-specific-url*=* 你能更新你的答案吗？

【解决方案2】：

虽然不能使用正则表达式，但可以使用通配符

你有没有尝试过类似的东西

Disallow: /my-specific-url/*var1=*

【讨论】：

这将阻止具有特定命名参数的给定路径的 URL。（在这种情况下为 var1）OP 询问如何阻止具有 any 参数的给定路径的 URL。
我不能 100% 确定仅使用 Disallow: /my-specific-url/*=* 是否有效 - 您可以尝试并使用网站管理员工具中的 Robots.txt 测试器查看是否它的功能与您期望的一样。如果没有，最好的选择是在 robots.txt 中一一列出所有参数。
是的，我无法列出所有参数，因为实际上我有一个电子商务 CMS (Prestashop) 的错误。它随机生成大量带有奇怪参数的 URL，例如 my-specific-url?amp%2525253Bamp%2525253B=&p=4。它会导致类别页面上出现大量重复内容。我暂时找不到这些网址的来源。所以我想要求搜索引擎不要探索这个网址。当然，我正在尝试找出错误的来源。
很遗憾，Disallow: /my-specific-url/*=* 不起作用。我已经使用 GWT 站点地图测试器进行了测试。
现在可以使用了。抱歉，我犯了一个简单的错误：我忘了删除斜线。所以这个解决方案正在工作：Disallow: /my-specific-url*=* 此外，@plasticinsect 解决方案正在工作：Disallow: /my-specific-url*?*