如何阻止谷歌抓取我的 Bitly Branded 短域名？

Question

问题是我们正在使用带有品牌名称的短域名作为网址缩短器。我们的品牌短域名是 d.so.city

现在，每当我在 google 上搜索 site:so.city 时，所有 d.so.city 链接都会出现在真正的网站网址之前。我不希望抓取 bitly url。我知道这可以通过子域的 robots.txt 轻松完成，但我们无法访问子域的 robots.txt 文件，因为它与 bitly 完全链接。

我也尝试过来自谷歌网站管理员的参数阻止，但也没有运气。我也浏览了 Bitly 文档，但也找不到任何相关的内容。

下面是我的网站搜索现在的样子：

我不希望这些 d.so.city 链接出现在谷歌搜索中。如果有人可以提供帮助，我们将不胜感激。

Answer 1

我认为为 d.so.city 下的每个页面设置一个无索引元标记应该可以解决问题。

为防止大多数搜索引擎网络爬虫将您网站上的页面编入索引，请将以下元标记放入您的页面部分：

<meta name="robots" content="noindex">

要阻止仅 Google 网络爬虫将页面编入索引：

<meta name="googlebot" content="noindex">

如果您告诉 Google 网站管理员进行参数阻止，它实际上是在尝试阻止在抓取特定页面后会找到的内容。

参考：https://support.google.com/webmasters/answer/93710?hl=en