防止 googlebot 抓取 woocommerce 过滤器

Question

Google bot 正在抓取产品过滤器参数，如下所示：

/shop/?filter_size=10

/shop/?filter_color=red

/shop/?filter_color=blue?filter_size=20

我尝试在 robots.txt 文件中添加以下规则，但我仍然可以看到 google 仍在使用过滤器抓取此类网址

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /wp-json/
Disallow: /cart/
Disallow: /wishlist/
Disallow: /checkout/
Disallow: /my-account/
Disallow: *?filter_color=* 
Disallow: *?filter_size=* 
Disallow: *?min_price=* 
Disallow: *?max_price=*
Disallow: /*add-to-cart=*

我正在使用 WooCommerce 和 Yoast 插件。

我在 Yoast 中启用了仅对页面/产品/product_cat 的索引。

这导致服务器上的 cpu 负载很高，而且它们与抓取无关..

如何防止google抓取店铺的过滤器？..

Answer 1

所以在环顾四周之后，最好的方法是阻止商店页面被抓取。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /shop
Disallow: /?s=
Disallow: /search
Disallow: /wp-json
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout
Disallow: /my-account
Disallow: /*?*