Yandex AJAX 爬取

【问题标题】：Yandex AJAX crawlingYandex AJAX 爬取
【发布时间】：2012-06-22 19:12:08
【问题描述】：

对于 Googlebot 的 AJAX 抓取，我在我的网站中使用“_escaped_fragment_”参数。
现在我检查了 Yandex 对我的网站的搜索结果。
我看到搜索结果中不存在 AJAX 响应。
Yandex 是否有类似 "_escaped_fragment_" 的选项？

否则，我是否应该检查用户代理，如果用户代理包含“YandexBot”然后提供非 AJAX 页面？

谢谢

【问题讨论】：

标签： ajax

【解决方案1】：

我发现 Yandex 也支持Google's proposition for AJAX crawling。如果您针对 Googlebot 抓取优化了您的网站，则无需更改任何代码。

【讨论】：

如果您使用<meta name="fragment" content="!">，有一点需要特殊处理。来自 Yandex 文档：“机器人将在地址 http://www.example.ru/blog?_escaped_fragment_= 处为页面的 HTML 版本编制索引。您不应将元标记放置在文档的 HTML 版本中。如果这样做，页面将不会被编制索引。”这与 Google 不同。