谷歌看到了它不应该看到的东西。为什么？答案

【问题标题】：Google sees something that it shouldn't see. Why?谷歌看到了它不应该看到的东西。为什么？
【发布时间】：2010-10-13 06:24:27
【问题描述】：

出于某种神秘的原因，Google 已将这两个地址编入索引，并指向同一页面：

/something/some-text-1055.html

和

/index.php?pg=something&id=1055

（临时通知 - 该网站自推出以来就有友好的网址，我不知道谷歌如何找到“index.php？”网址 - 只有在内容管理系统中有“不友好”的网址，即密码 -限制）

我能做些什么来解决这种情况？（我有大约 1000 个双索引页面。）有人告诉我使用“disallow: index.php?”在 robots.txt 文件中。对还是错？还有其他建议吗？

【问题讨论】：

【解决方案1】：

您会惊讶于谷歌机器人在索引网站内容方面的普遍性和速度。再加上许多 CMS 系统创建了非预期的页面/链接，因此很可能在某些时候这些链接被暴露是最有可能的罪魁祸首。也有可能你的管理区域没有你想象的那么安全，谷歌机器人就是这样通过的。

乖巧的，还有google recommended，这里要做的事情是

如果可能，创建从查询字符串样式 URL 到规范样式 URL 的 301 重定向。那就是你说“嘿，网络机器人/浏览器，以前在这个 URL 上的内容现在在这个另一个 URL 上”
在您的 robots.txt 中屏蔽查询字符串内容。这就像询问蜘蛛或其他自动化程序“嘿，请不要看这些东西。这些不是您要查找的 URL”
Google 显然是 allows you to specify 一个规范的 URL，现在通过页面顶部的标记。考虑添加这些。

至于表现良好的事情是否是“正确”的事情：谷歌排名......谁知道。只有“谷歌”知道他们的算法现在如何工作，以及将来如何工作，而谷歌是指一群工程师和高管，他们在搜索应该如何工作方面有着相互冲突的目标。

【讨论】：

【解决方案2】：

您是否有可能将表单发布到类似的 url，而 google 只是从源头获取它？

【讨论】：

【解决方案3】：

Google 现在提供了一种指定网页规范网址的方法。您可以在 HTML 中使用以下代码告诉 Google 您的规范网址：

<link rel="canonical" href="http://www.example.com/product.php?item=swedish-fish" />

您可以在 Google 上有关该主题的博客文章中阅读有关规范 URL 的更多信息，此处：http://googlewebmastercentral.blogspot.com/2009/02/specify-your-canonical.html 根据博客文章，Ask.com、Microsoft Live Search 和 Yahoo!都支持规范标签。

【讨论】：

【解决方案4】：

更改 robots.txt 将无济于事，因为该页面已编入索引。

最好是使用永久重定向 (301)。

如果您想删除已被 Google 索引的页面，唯一的方法或多或少是让它返回 404 not found 消息。

【讨论】：

【解决方案5】：

最好检查请求的 URI ($_SERVER['REQUEST_URI'])，如果是 /index.php，则重定向。

【讨论】：

【解决方案6】：

如果您使用sitemap generators to submit to search engines，您也需要禁止使用它们。它们很可能是 Google 通过抓取您的文件夹和检查您的日志获得您的链接的地方。

【讨论】：