如何在 robots.txt 或 .htaccess 上阻止某种类型的网址？

【问题标题】：How to block a certain type of urls on robots.txt or .htaccess?如何在 robots.txt 或 .htaccess 上阻止某种类型的网址？
【发布时间】：2019-01-03 17:41:23
【问题描述】：

目前在我的网店，在页面太多的类别页面上，url以https://www.example.com?p=2 p=3结尾... 我想告诉 robots.txt 不要索引以 p=Number 结尾的网址。我该怎么做呢？顺便说一句，这是一个 prestashop 网站。

谢谢大家。

【问题讨论】：

标签： .htaccess seo robots.txt

【解决方案1】：

只需在您的 robots.txt 文件中添加这一行：

Disallow: /?p=*

因此，例如，这将阻止像 example.com/?p=2 这样的 URL 被 Google 之类的网站编入索引。 * 符号代表 ALL。所以p= 之后的任何内容都会被包括在内。

【讨论】：

【解决方案2】：

如果 p= 分页，您不会希望禁止这些 URL，因为您仍然希望它们被抓取。

如果您不希望它们在 Google 中被编入索引，请为它们添加一个 noindex 标签，但不要在它们上面放置任何东西以防止抓取。

【讨论】：

感谢您的回答；你知道我如何创建一个规则来为所有网站创建一个 noindex 标记吗？