是什么导致 URL 在 BigCommerce 商店的 Web Master Tools 中被阻止？

Question

我的客户在 BigCommerce 有一家商店，并且正在使用 Google Web Master Tools 来监控搜索性能。谷歌告诉客户，某些 URL 在移动设备上被 robots.txt 文件阻止了。似乎任何以 ?sort=newest 结尾的 URL 都被阻止了。

HTTP robots.txt 文件的内容是：

User-agent: *
Disallow: /account.php
Disallow: /cart.php
Disallow: /checkout.php
Disallow: /finishorder.php
Disallow: /login.php
Disallow: /orderstatus.php
Disallow: /postreview.php
Disallow: /productimage.php
Disallow: /productupdates.php
Disallow: /remote.php
Disallow: /search.php
Disallow: /viewfile.php
Disallow: /wishlist.php
Disallow: /admin/
Disallow: /_socialshop/

HTTPS robots.txt 文件上的内容是：

User-agent: *
Disallow: /

User-agent: google-xrawler
Allow: /feeds/*

显然，机器人文件中没有提到?sort=newest。

如何阻止?sort=newest 页面在移动搜索中被阻止？

Answer 1

虽然我理解您的问题，但阻止 url 过滤器实际上是最佳做法。您可以在 Moz 的“无索引过滤器”标题下阅读更多相关信息。

Some additional information 由 BC 围绕这个问题以及如何向 google 指示应该抓取哪些搜索参数（如果有）提供。