修改 Google Webmaster Robots.txt 代码以禁止 url

Question

我在 ahrefs.com 上遇到一些 hreflang 和重定向错误，因为 utm 活动和弹出链接的锚点设置为“#”或“#!”。我想在我的 robots.txt 文件中添加一些代码，以防止 google 抓取这些 url，从而使这些错误消失。

例如，我想禁止抓取的网址是：

https://mywebsite.com/#
https://mywebsite.com/#!
https://mywebsite.com/about?utm_campaign=something

我尝试了这段代码，但它不起作用：

不允许：/*#!

禁止：/*utm_campaign

Answer 1

Hash(#) 是 robots.txt 中的注释符号。在 robots.txt 中 # 之后的所有内容都将被忽略

此外，浏览器和爬虫永远不会将 URL 中 # 之后的部分发送到服务器，因此禁止它是没有意义的。