在我网站的主页上，我使用 JQuery 的 ajax 函数来下拉用户最近的活动列表。
最近的活动显示在页面上，最近活动的每一行都包含一个指向执行该活动的用户的用户个人资料的链接。
Google 是否真的会通过 ajax 调用来提取此信息并将其用于计算页面相关性/链接汁流？
我希望它不会因为用户个人资料页面不是很值得 Google 索引，而且我不希望所有这些指向用户个人资料页面的链接稀释我主页的链接汁远离其他更重要的环节。
【问题讨论】：
不，默认不会抓取 AJAX 内容。
http://code.google.com/web/ajaxcrawling/ 有关于如何使 AJAX 内容可抓取的说明，但这些是您需要采取的明确步骤，它不是自动的
【讨论】：
Maybe。如果您想保证 Google 不会抓取您的 JSON 响应，put them in robots.txt。但是，这不是安全性。事实上，这是破解者首先会寻找“有趣”页面的地方。 And other crawlers may ignore it.
【讨论】：
Google 肯定会在我们的页面中抓取仅在 AJAX 请求中引用的内容。
我想知道 Google 是否正在检查页面源，寻找可能有效的 URL，并测试它们是否有内容。
这是我们的请求的样子......这可能会提供一些关于正在发生的事情的见解。
'$(document).ready(function() {
$("#theDiv").block({ message: 'Getting latest content...' });
$.ajax({
url: '/content/pages/articles?count=4&part=true',
success: function(data) {
$('#theDiv').html(data);
$("#theDiv").unblock();
}
});
});`
【讨论】：
是的，Google 会抓取使用 javascript 创建的动态内容。它可以在加载后识别 DOM，包括对标题标签的修改。它还可以跟随使用 onclick 事件处理程序创建的链接。
在此处阅读： http://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157
但是，对于您的个人资料链接，它将尊重 nofollow。
【讨论】：
Google 现在可以让您在 AJAX 页面上启用抓取。如果您的链接包含“#!”，那么 google 会将其更改为“?_escaped_fragment_=”并从您的服务器请求该文档。但是，当它在搜索结果中显示该页面时，它会显示带有“#!”的原始 URL。
http://code.google.com/web/ajaxcrawling/docs/learn-more.html
【讨论】：
Google 本身并不抓取 AJAX 内容，但它提出了一个方案来让 AJAX 内容抓取。我写了一篇文章来解释它是如何工作的。它还包括非常简单的代码来演示 AJAX 内容的 Google Crawling Scheme。在这里找到它：http://www.tayyabali.com/seo-ajax-content-asp-net-code-to-crawl-ajax
【讨论】：
这里是some info 上的 AJAX 爬取自 JQuery 地址插件的制造商。
【讨论】：
对于 Ruby 用户来说，有一个 gem 可以相对轻松地处理这个问题.... google_ajax_crawler Github repo here，在thecodeabode 写了关于将它用于主干js 的文章
【讨论】：
在上个月 google 已经停止支持 ajax！ https://googlewebmastercentral.blogspot.fr/2015/10/deprecating-our-ajax-crawling-scheme.html
【讨论】：