禁止谷歌索引重定向网址

Question

我有一个包含大量新闻的新闻聚合网站... 如果主页上的单个新闻有文本，则链接将重定向到源站点 www.site.com/red/23545，但如果相同的新闻没有任何文本只有标题，则它会获得此链接这不是重定向，而是转到我网站 www.site.com/23545/some_news_title 上的不同页面

因此，相同的新闻可以在某些页面上包含文本，然后在源页面或某些只有标题的页面上重定向，并获得指向网站内页面的正常链接。

问题在于 google 正在索引重定向链接 (www.site.com/red/23545)。

我加了

Disallow: /red/

到我的 robots.txt

我也加了

rel="nofollow"

到所有重定向链接

但没有一个不起作用......它仍然被索引......

我使用重定向链接的原因是为了防止我的网站被屏幕抓取。如果有人在没有我的域作为推荐人的情况下使用重定向链接，他将被重定向到我的位置，而不是新闻源页面。 ..

任何帮助将不胜感激。

谢谢！

Answer 1

您可以在重定向页面上添加以下标题以防止它们被索引：

X-Robots-Tag: noindex

不过，我很惊讶您的 robots.txt 不起作用。你有多久了 robots.txt 文件在那里？这类事情确实需要一些时间才能生效。您可以通过 Google 网站管理员工具从 Google 索引中删除链接来加快此过程。