使用 #! 索引页面在网址中答案

【问题标题】：Indexing pages with #! in URL使用 #! 索引页面在网址中
【发布时间】：2015-06-30 02:36:41
【问题描述】：

在 url 参数下的谷歌网站管理员工具帐户中有一个 _escaped_fragment_ 参数。既然谷歌声明它不会抓取这些网址，我应该告诉它不要在本节中抓取这些网址吗？

我还希望 google 抓取我的带有 #! 的网址。在它们中，因为这是整理我画廊中的图片的原因。

Google 还声明要在包含这些网址的页面中添加：<meta name="fragment" content="!">。这是正确的程序吗？我注意到谷歌没有抓取这些类型的网址。既然我添加了这个，它会抓取它吗？

【问题讨论】：

【解决方案1】：

Google 实际上会抓取_escaped_fragment_ 版本的网址，因为片段只存在于客户端；这就是创建 AJAX Crawling Scheme 的主要原因。
如果您限制爬虫对这些 URL 的访问，您的网站将在搜索结果中遇到非常困难的时间，因此我建议让爬虫访问它（即不要为它们设置任何特殊处理）。

您提到的元标记实际上会告诉谷歌不要重写网址；如果 URL 中有井号 (#!)，那不是你想要的，所以不要添加元标记。

为了使没有散列片段的页面可抓取，您在页面的 HTML 头部包含一个特殊的元标记。元标记采用以下内容：<meta name="fragment" content="!">

【讨论】：

你的回答有点混乱。所以在站长工具下我应该让谷歌用这个参数抓取每个网址？我应该在标题中添加元标记吗？
更新了答案，使其更加具体。
由于我在谷歌网站管理员工具中监控了 32000 个网址。我会让 googlebot 抓取网址。但是，我也遇到了这些类型的抓取错误：example.com/announcements/jacobgriffit?_escaped_fragment_= 带有空值。我应该在 robots.txt 中删除/阻止这些网址吗？或者我应该在传递空的 escape_fragement 参数时创建一个 htaccess 重定向？