避免在 Google 中出现重复的搜索页面

Question

我有一个带有 4 个下拉菜单的搜索网站。这些下拉列表中的每一个都重定向回有问题的页面，但带有一个 url 参数来告诉它如何对结果进行排序。第一个下拉菜单有 13 个选项，其他三个下拉菜单各有 4 个选项。当然，Google 会看到重复的内容并为此吃掉我的 SEO。

自从包含 13 个选项的下拉列表是一个类别分类器以来，我已经能够稍微降低重复的内容，所以我用它来更改每个页面上的标题以帮助阻止整个重复的内容，但是另一个3 是纯排序器，不能真正用于更改页面标题（也不应该）。

所以我想出了一个解决方案：

• 禁止 robots.txt 中的页面（/搜索）
• 将 13 个页面（来自类别分类器）添加到 sitemap.xml，因为它们有单独的标题，它应该可以很好地工作。

问题是我应该在排序链接中添加一个 nofollow 以阻止 Google 获取它们，还是站点地图可以只索引该 url 而不关注其中的其他链接？

或者有没有更好的方法？

同时附注：

如果我在 sitemaps.xml 中有一个 URL，例如：

/user/view?id=1

但我有一个 robots.txt 行，例如：

禁止：/user/view

Google 仍然可以索引站点地图网址吗？阻止访问这样的动态页面是一种好习惯吗？

谢谢，

Answer 1

使用rel="canonical"

Answer 2

处理此问题的更好方法是使用canonical URLs。这将告诉 Google 哪个页面是“主”页面并将其包含在其索引中，并且与其重复的其他页面应被视为同一页面（并且不包含在搜索结果中）。这可以防止您不得不阻止页面，或者更糟糕的是，在内部页面上使用 nofollow。事实上，在我链接到他们提供的示例的博客文章中，这些示例几乎与您的用例相同。