【发布时间】:2015-08-21 16:21:30
【问题描述】:
我运行一个动态站点,该站点可能会或可能不会根据用户偏好重定向特定路线。
假设它是http://clientname.example.com/maybe。我们的后端有一个对/maybe 的响应,但如果客户决定他们宁愿使用他们的网站来获取该页面上的信息,我们会改为使用 303 重定向到他们在单独域上的页面。
我们所有的内容页面都使用<meta name="robots" content="noindex"> 标签,因此谷歌不会索引我们的任何页面。但是,当我在 google 搜索“site:our_domain_name.com”时,我得到一堆结果,这些结果都可以追溯到返回 303 的那些动态路由。当我单击 google 中的搜索结果时,303 会按预期进行我到达客户的站点。我想要的是让我的拼图完全不显示在结果中。
今天早上我正在对其进行故障排除,我意识到我们的 noindex 元标记显然没有被机器人看到,因为它正在跟踪重定向,所以我在服务器上添加了一个规则,添加了“X-Robot-Tag: noindex”标头重定向响应。
够了吗?如果我等待的时间足够长,这些搜索结果会被删除吗?
【问题讨论】:
-
你是否也在 robots.txt 中屏蔽了它们?还是您只是使用机器人元标记和 x-robots-tag 标头?
-
只是元标记和我刚刚添加的标题...没有 robots.txt。
-
好。那么你应该没问题,至少在主要搜索引擎上是这样。不过可能需要几周时间。
-
太棒了!我会留意的。谢谢!
标签: redirect http-headers seo robots.txt noindex